曾紀澤結識了容雪玫之後，在上海小住了半個月時間，那天，他剛回到上海的巡撫行署，忽然吳王府的家丁荊七來報，說曾國藩請曾紀澤速回南京，附有家書一封。
“父親這麼着急，讓我回南京，出了什麼大事？”曾紀澤心想，他覺得，不應該有什麼大事啊，和清廷的和談已結束，清廷冊封曾國藩爲吳王，吳國的地盤，基本上跟南明朝廷差不多，政治中心定在南京，但相當於藩國，有相對獨立的自主權，和清廷和平相處，一致對外。按照曾國藩的意見，左宗棠的楚軍也已經放行，讓他北上剿捻，湘軍和淮軍基本上已經控制了東南半壁江山，江南各地的太平軍餘寇已經剿平。
曾紀澤一點也不擔心思想腐化的滿清朝廷會蛻變變得強大，滅亡滿清，也是遲早的事，曾紀澤擔心的是日本！早在1862年6月，正當曾紀澤率領淮軍與李秀成率領的太平軍在上海郊外展開最後的決戰時，一艘懸掛着荷蘭藍色旗、英國米字旗、日本太陽旗的三桅帆船，就悄悄地在上海港拋錨停泊。坐在這艘船上的，全都是日本人，其中有八人是德川幕府派來對中國進行訪問的使者。除了這八個人以外，船上還坐着一個滿臉長着麻疹的年輕人。很顯然，他不是幕府的官員。他對中國充滿好奇，於是行賄使團，獲得了上船的機會，也就跟着來到了中國。他的名字，叫作高杉晉作，是日本近代有名的維新派。
高杉晉作一下船，就到處打聽中國的情況。由於語言不通，他只能用筆在紙上寫漢字與中國人交流。儒生、士兵、米店老闆、書店老闆等形形色色的社會底層人物，都成了高杉晉作交流的對象。在交流的過程中，高杉晉作發現中國人非常愚昧。他們完全不關心政治，除了希望太平軍不要打進上海以外，別無任何政治訴求。他們完全不明白怎樣使國家走向富強，從而避免被外國侵略者欺辱。當他向書店老闆問起爲什麼魏源的《海國圖志》這樣的好書在中國爲何無處售賣時，書店老闆告訴他，“這種書與科舉考試無關，在中國毫無市場”。
除了與中國人廣泛交流外，高杉晉作還大膽地接觸了在上海的西方人，向他們購買新式槍炮，同時也從他們口中打聽中國的情況。西方人告訴他，中國表面上非常強大，其實非常虛弱。他們雖然在沿海佈置了許多炮臺，但都是樣子工程，毫無實戰價值。高杉晉作聯想起剛來上海時看到的那座吳淞口炮臺，覺得外國人說得很對，大清帝國毫無國防可言。
這次上海之行極大地刺激了高杉晉作。原本非常崇拜中華文化的他，開始思索中國之所以失敗的原因。他認爲，日本如果不迅速地尋求改變的話，也會步中國之後塵，成爲西方列強競相侵略的對象。從此以後，他致力於長州藩的富國強兵大業，併爲之做出了重要貢獻。
高杉晉作以及八位幕府官員的這一次上海之行，轉變了日本有識之士對中國的看法。以前，日本人非常崇拜中華文化，儒家經典被他們視爲最神聖的典籍。然而自此以後，日本人開始排斥中華文化，並且大張旗鼓地學習西方，最終走上了“脫亞入歐”之路。就在這批使臣訪問中國前後，日本政府派出的訪美使節團和訪歐使節團也先後出發，開始對歐美等先進國家進行實地考察，日本近代著名的啓蒙思想家福澤諭吉參加了這兩次訪問。通過這兩次訪問，福澤諭吉深刻地體會到了日本與歐美國家之間的差距。回到日本後，他大力鼓吹“脫亞入歐”。這爲後來明治政府順利開展維新運動奠定了思想基礎。
而且尊王攘夷運動失敗後，許多有識之士認識到，要想改變日本現狀，實現富國強兵，必須推翻幕府統治。於是，尊王攘夷運動演變爲倒幕運動。1864年，高杉晉作起兵奪取了長州藩的政權，此後，長州在木戶孝允（桂小五郎）的主持下進行改革，倒幕運動蓬勃發展，爲明治維新打下了基礎。
曾紀澤於是決定在吳國先開始維新，並對日本時刻保持警惕，派了不少探子到日本。此時日本還很弱小，對中國構不成威脅，應該也不是日本人有啥動作，曾紀澤拆開家書一看，原來曾國藩說是已經把兩位夫人已經接來南京了，請他速速回府，而且要他跟小夫人劉氏完成明媒正娶的後續禮數。
曾紀澤一怔，他在國內確實已經要有兩位明媒正娶的夫人了。
第一位夫人是髮妻賀氏，歷史上她因年紀太小生孩子難產，新婚一年後在1857年就過世了，但曾紀澤來了之後逃婚，還沒完婚就走了。直到1859年，也就是咸豐九年，九月二十六日，他們才完婚。那時，曾紀澤是從軍中請假回去結婚，儀式也相對簡單。當時雙峰的荷葉塘鄉正是秋高氣爽稻浪翻金的豐收時節，依山傍水的曾府黃金堂一改往日的靜穆張燈結綵熱鬧非凡。隨着一陣陣歡快而喜慶的嗩吶、喇叭聲漸漸飄近，一頂火紅的花轎在震耳欲聾的鞭炮聲中擡進了黃金堂。賓客如雲，炮畢禮罷，坐在堂上的歐陽夫人看着一對新人如天造地設不禁喜上眉梢。
賀氏自幼聰慧好學，他的父親也是一代大儒，她在父親的影響下，接受了良好的啓蒙教育，不但熟讀詩書，知書達理，還奍成了一種勤勞節儉的習性。雖是父母之約，媒妁之言，一對彼此未曾某面的新人，婚後卻是相敬如賓，伉儷情深。賀氏嫁入曾家後，嚴守”勤敬”二字，孝敬長輩，對朋友和隨侍左右的人，無論是誰，她都努力做以“誠”“恕”二字待人，以德報怨，很得歐陽太夫人的喜歡。
當年十月十四日，曾國藩接紀澤信，知喜事順利，非常高興，回信：“知喜事完畢，新婦能得爾母之歡，是即家庭之福。”
咸豐十年初，曾紀澤離開黃金堂，趕回江西軍營曾國藩身邊，這對新婚燕爾的夫妻不得不長期分居。年輕的賀氏不僅在家悉心照顧婆婆、小叔及幾個小姑，並且辛勤操勞家務，下廚燒竈，紡紗織布，樣樣親躬，不到夜半時不會歇息。當年四月，曾國藩賞加兵部尚書銜，報子到家報喜，歐陽太夫人無以爲重賞，賀氏見婆婆爲難挺身而出，將自己的嫁妝拿去典當後分賞報子。賀氏賢惠及治家之才，一時在荷葉塘鄉大夫家廣爲傳誦。
可惜，賀氏長成熟後生孩子，雖沒有難產而死，但爲曾紀澤生的是一個女兒，此後再無所出。
無後爲大，曾國藩便爲曾紀澤續娶繼配夫人劉氏。
劉氏，原湘鄉縣四十都樂善里人，生於清道光二十一年(1841年)正月初九日，其父是曾國藩同鄉密友湘軍主要將領劉蓉，也是清桐城派古文家，學識淵博，視野開闊。
劉氏長成亭亭玉立的少女，儘管求婚說媒者應不暇接，但劉蓉眼界很高，未曾許肯。後由彭玉麟、唐義渠爲媒，在軍營中與曾紀澤正式定庚。此時劉氏時年二十三歲，在當時已經是晚婚年齡了。
本來劉氏應該爲曾紀澤的妾，但曾國藩和劉蓉乃是好友，一切禮數約定爲夫人規格。當時的婚姻，乃是父母之命，禮數繁多，越是大戶人家，越是規矩多，關乎家教和宗族聲譽，曾紀澤思想再開放，也只得按照婚俗去辦，對這一點，曾紀澤倒是並不排斥，他不認爲西洋的婚禮就比傳統婚禮文明，各自生活方式不一樣罷了。
曾紀澤回到南京，要和素未謀面的劉氏完婚，才瞭解到，晚清傳統婚禮的很多習俗跟現代不一樣，他以前和賀氏的婚禮，實在太簡單了。比如當時婚禮舉行時間是在晚上，因爲古代“婚”與“昏”同，結婚的“婚”與黃昏的“昏”是同一個字。從前還有一個不成文的規矩，叫做“正不娶、臘不定”，也就是說，正月不舉行婚禮，臘月不定親，因爲正月裡頭很忙，一直到正月十五都有節；臘月裡頭也很忙，所以就不定親。這時候一些其他節日的喜慶氣氛，會把婚禮沖淡了。
自己快要正式禮數結婚了，曾紀澤才瞭解到，婚禮自古以來是中國人一生中非常重要的大事，正所謂“洞房花燭夜，金榜題名時”。在晚清，舊式包辦婚姻還是佔多數。從婚禮的形式來講，還有很多程序，很多一直延續到了現在。比如提親，也就是說男女雙方互相不認識，總要有一個婚姻介紹，這就是提親。從前有專門做這個的媒婆，可是也有很多不是通過媒婆，而是通過介紹人。根據雙方的家世背景和年齡，希望他們能夠結親，不管什麼形式，得通過介紹人來提出，這就是提親，講究門當戶對。
曾紀澤和劉氏的介紹人，是彭玉麟。湖南人結婚，風俗大概要經過看親定庚、擇吉報日、花轎迎親、告祖儀式、顛轎傳統、媒婆招劫、拜堂成親、大鬧洞房、回門等儀式。
曾紀澤的生辰八字和劉氏都很合拍，合婚也就很順利。經過合婚，就開始相親。當時的相親跟現在很不一樣，一般來說，是男方到女方家去，就是要看看對方的相貌。舊時代沒出嫁的女孩兒叫沒出閣，平時看到沒出閣的女孩兒是不容易的，沒出閣的閨女不能出門讓人看，但開明人家也有女方到場的情況，主要是女方審查男方，如相貌、人品、學問，再有通過到家裡去，也看看這個人家的經濟狀況、經濟實力，這是相親。曾紀澤的情況，劉蓉自然是清楚的，這一關也很快過去了。
在南京，曾紀澤給劉氏的聘禮，有很多貴重物品，包括慈禧太后賜予的一對玉鐲子。放小定以後，再下面程序就是擇日，就是選一個良辰吉日。把日子定了以後，就開始要放大定，男方將聘禮送到女方家去，內容與放小定差不多，但是品種和規模就大得多了。放大定以後，下面就是女方向男方過嫁妝，這也是一個很隆重的事，過嫁妝隊伍招搖過市，至於多少擡，根據女方家的經濟實力而定，但必須是雙數，少則四擡、八擡、十六擡、二十四擡，甚至更多。過嫁妝一般來說就是日常用品，比方說傢俱、箱籠、服裝衣料、生活用品，包括銅臉盆、暖壺、痰桶……都要成雙成對，上面都要貼上紅紙。特別富豪的人家，有陪送古玩珍寶、土地和店鋪的。陪送土地怎麼陪送呢？就是用禮盒擡着地契，裡面放幾塊地上的土坯。要是送店鋪呢，就把這個店鋪的匾額臨時摘下來，也隨過嫁妝的隊伍送到男方家去，或奢或儉、或貧或富，是不一樣的。劉蓉就送了曾紀澤一棟南京的三層小樓。
送完嫁妝以後就該迎娶，也叫親迎，曾紀澤就差這一步沒完成了。他了解到，親迎隊伍吹吹打打，在娶親的時候，他應該頭戴呢帽，身着袍子、馬褂，十字披紅騎馬，還要抱着白鵝，這個鵝代替的是鴻雁，古人認爲鴻雁是從一而終的。後來沒地方找鴻雁去，就以鵝來代替鴻雁，所以鵝在婚禮中是一個吉祥物。
曾紀澤的洞房也很講究，牆壁都是用紅漆及銀殊桐油髹飾的。洞房門前吊一盞雙喜字燈籠，鎏金色的大紅門上有粘金瀝粉的雙喜字，取“開門見喜”之意。洞房內金玉珍寶，富麗堂皇。前檐通連大炕一座，炕兩邊爲紫檀雕鶴，炕几上有瓷瓶、寶器等陳設，炕前左邊長几上陳設一對雙喜桌燈。喜牀上鋪着厚厚實實的紅緞雙喜字大炕褥，牀上用品有明黃緞和硃紅綵緞的喜被、喜枕，圖案優美繡工精細，富貴無比。
送走了最後一個客人，夜已經深了。曾紀澤走進洞房，迫不及待看一看他這位劉夫人到底是何等容貌，沉魚落雁那自是皆大歡喜，中人之姿也可以湊合，若真不幸是鍾無顏，那也是長短不如短痛，早見了早有心準備。
雖仍未謀面，但劉氏在歷史上很賢惠，在曾紀澤心裡的印象分已經超過八十分，他故意放輕腳步，穿過紗簾，悄無聲息的轉過屏風，然後，掀開蓋頭，長舒了一口氣：曾紀澤看到的，是一個個窈窕的側身，皮膚白淨如玉，瓜子臉，玲瓏秀鼻，巧嘴如櫻，嘴脣左下方還有一顆細心的美人痣。劉氏外貌雖說傾國傾城，但絕對稱得上是典型的水嫩嫩的湘妹子！
從此，曾紀澤就有兩位賢惠的夫人了，加上海外大漢國的皇后，他就有三位夫人了。如果容雪玫不計較他這三妻，他倒是十分樂意娶她的。
(。