曾紀澤初到上海，就對上海灘十里洋場的浮華之風和上海官場的官僚有了深入瞭解，當時李秀成部圍攻上海，上海紳商急忙派代表趕到安慶向曾國藩求援，而上海當地的官員卻不急，根本不知道如何出兵攻打長毛。〔〕
江蘇巡撫薛煥還想把淮軍置於他的管轄之下。曾紀澤決定靜觀其變，等趕走李秀成後再作打算。正在這時候，在上海的英軍提督河伯和法國領事要會見曾紀澤。
曾國藩在曾紀澤來上海前，告誡他：“千萬不要借洋兵來會剿長毛，因爲洋人很傲慢，不僅會使淮軍受辱還會導致不必要的麻煩。”
曾紀澤這時也並不想洋人插手上海的事，在和洋人談判時，語氣和姿態都不卑不亢，雖然淮軍的衣衫破舊而受到了洋人的恥笑，但是曾紀澤不慌不忙、理智地給出了自己的回答：“我們中國人的地盤，我作主！不需要洋人插手。”
任職江蘇巡撫的薛煥，這時是曾紀澤的上司，但曾紀澤在與薛煥交談時，表面上和和氣氣，但其實也並不給他面子。
爲了讓曾紀澤服氣，薛煥和知府李慶深商量之後，最終決定要與太平軍交戰，打幾個勝仗給曾紀澤看看，順便打壓一下淮軍囂張的氣焰。
可悲的是，與李秀成的太平軍交手後，薛煥的綠營兵全軍覆沒，而李慶深本人也落荒而逃。太平軍步步緊逼，並一直追至上海附近，薛煥只能厚着臉皮向曾紀澤求救。
曾紀澤便寫信給曾國藩，告知在上海的詳情。曾國藩覺得，還是必須讓清廷給曾紀澤實權。在曾紀澤年少的時候，曾國藩爲曾紀澤和曾國荃捐過四品的官銜，這一次他奏請曾紀澤任江蘇巡撫。清廷這時候升官，只看能力，不論資排輩，比如左宗棠，就是直接由曾國藩保舉，做了浙江巡撫。
在議政時，恭親王覺得曾紀澤戰功還不夠當巡撫，但是慈禧太后卻力排衆議，說：“準了！平天下還得依靠曾國藩父子。曾紀澤從五六年就有戰功，早就該大賞了。”
1862年4月25日，清廷突然下了一道命令，任命曾紀澤爲江蘇巡撫。此時，曾紀澤也正面臨太平軍第二次攻打上海的危險處境，曾紀澤給部下提出“不要錢、不怕死”的六字方針，不時地提醒他們，打贏仗纔是硬道理。〔〕
曾紀澤下到淮軍的基層瞭解到，大部分由窮苦的農民組成，他們不僅穿着破舊，並且行爲舉止不是很雅觀，因此總是遭到上海官紳和洋人的取笑。他們懷疑這支隊伍能否擔任其保衛上海的艱鉅任務。
“我們的戰鬥力，不是看我們穿着什麼樣的衣服，而是看我們有沒有必勝的決心！”曾紀澤鼓勵淮軍，給他們訓話，“只要我們守住上海，將來我們要什麼就有什麼！”
曾紀澤對淮軍自始至終都實行嚴格的軍事管理制度，加大訓練的強度。在軍事訓練方面，其內容主要包括陣法操練和扎築營盤在紀律整頓方面，曾紀澤實行點名制度，每天中午、晚上各點名一次，絕不允許士兵擅自出營，尤其不允許淮軍抽鴉片。如果有誰吸食鴉片，馬上開除回老家。
曾紀澤在軍營裡也幫了不少忙，一般的文書工作，他都得心應手。在曾紀澤和曾紀澤的精心管制和訓練，淮軍的士氣非常高昂，並且他們在曾紀澤的鼓舞下，都蠢蠢欲動，準備和太平軍大戰一場，一試身手。
當太平軍將領李秀成率領十萬大軍對上海進行第二次圍攻之時，上海的英法聯軍一再要求和曾紀澤率領的淮軍協同作戰，曾紀澤取代薛煥做了江蘇巡撫後，受命於危難之間，他覺得這時候保住上海要緊，這時候李秀成的兵也用洋槍洋炮比較多，曾紀澤暫時加大了與洋人合作的力度，將借師助剿的規模和範圍進一步擴大，與英法聯軍和常勝軍聯手反攻上海周圍的太平軍，一舉掃清了太平軍佔領的外圍據點，逼得李秀成不得不從蘇州趕到上海前線親自組織反攻。
李秀成在上海戰場的反攻顯示他非同尋常的指揮能，他選擇了西線太倉。李秀成率精兵萬餘，從蘇州來到太倉前線。太倉是上海與蘇南基地緩衝帶的橋頭堡，拿下太倉，不但能夠確保蘇南安全，也能爲後續反擊打下基礎。
此時曾紀澤指揮的中外聯軍正在浦東一帶膠戰，太倉防務相對空虛，李秀成一面命令東線繼續牽制，一面利用優勢兵力合圍，三天就拿下西線的太倉，接着他又乘勝發動連續反擊，先後收復嘉定和青浦。〔〕
青浦一戰，李秀成重創英法聯軍，殺敵百餘人，還俘虜了常勝軍副司令法爾斯德，後來還用這個洋俘虜換了一批火藥和滑膛炮。南橋之戰中，法國提督卜羅德中彈，當場死亡，英法聯軍傷亡空前慘重。
李秀成用實實在在的戰績，論證了洋鬼子也不經打，他抓住敵人薄弱環節，用重兵主動出擊，採取抄敵後路、重重設圍、切斷糧道、以逸待勞等多種戰術，並吸收洋人的長處，用繳獲的大炮和洋槍武裝自己。除此以外，他還摸索出了短促突擊、埋伏突擊等一些新的戰法，把裝備先進的洋兵打得落花流水。
如果不是曾紀澤的到來，李秀成也許能攻下上海。
曾國藩對兒子曾紀澤厚愛有加，不但親自前去安慶送行壯威，而且還從湘軍抽調了一支特別精銳的部隊送給他。這支精銳就是第二個太奸標兵程學啓的開字營，人不多，一千人，但是單兵作戰能力非常強大，都是以一當十的精幹老兵。
程學啓在安慶戰役中的表現非常出色，謀勇兼備，深得曾國藩器重，被保舉爲遊擊，賞戴花翎。隨後又幫助曾國藩打下安徽重鎮無爲和銅陵，再被保舉爲參將。
曾國藩之所以把程學啓送給曾紀澤，主要是考慮他的淮軍還是一支沒有上過戰場的新兵，新兵如果沒有老兵來傳幫帶，在戰場上很難形成戰鬥力，尤其是初上戰場，基本上會變成炮灰。
曾國藩還親自送程學啓上船，特別叮囑他去打硬仗，保護好曾紀澤。
曾紀澤也知道此時程學啓對他的重要性，便極力加以籠絡，委以重任，什麼大仗難仗都交給他去負責。手裡有了一支這樣的精銳，先鋒官和打頭陣的部隊算是有着落了。程學啓到了上海後，在衝鋒陷陣和硬仗惡仗他的表現都很出色，很快就成爲曾紀澤手下的第一驍將。
李秀成乘勝從松江向上海發動的總攻，卻敗在程學啓的“英勇奮戰”上。程學啓到達上海後，果然沒有辜負曾國藩的厚望，也沒有辱沒曾紀澤的倚用，先後在保衛虹橋、反攻南橋、解圍松江之戰中，都立下了大功，斬殺了不少長毛。
程學啓的表現讓曾紀澤非常滿意，派他駐紮上海近郊的新橋，阻擊李秀成對上海的強大攻勢。
程學啓率領開字營在一線指揮戰鬥，在戰場上還親燃大炮，激勵士氣。大炮壓制住太平軍的攻勢後，程學啓又率部發起衝鋒，打開營門與太平軍短兵相接，展開肉搏。太平軍先後發起近十次衝鋒，硬是沒能前進一步。
上海近在咫尺，李秀成卻因爲程學啓只能望城興嘆。由於上海流行瘟疫，因此太平軍中有很多人染上了疾病，加之天王洪秀全急招李秀成回援天京，無奈之下，李秀成決定撤離上海。然而在撤離之前，李秀成率領部隊先圍攻虹橋的程學啓部，要重創這支漢奸隊伍。
曾紀澤得知情報後迅速帶領隊伍前去支援。這是曾紀澤領導的淮軍和太平軍的第一次交鋒，這也關係到曾紀澤的聲威和淮軍聲譽。曾紀澤帶領樹字營和春字營親自上陣，春字營抵擋不住太平軍的進攻就撤退逃跑，而此時曾紀澤正坐在虹橋橋頭督戰。他看到張遇春也在往後撤退，於是就一把抓住張遇春對士兵下令說：“拿刀來，把這個臨陣脫逃的狗將領頭砍了！”
張遇春見曾紀澤動了真格，只好硬着頭皮帶隊繼續往前衝，這才反敗爲勝。
不久，曾紀澤率領淮軍又和太平軍打了兩場惡戰：由程學啓部和劉銘傳部分別在北新涇、四江口和太平軍對抗。並且獲得了完全的勝利。
經過虹橋、北新涇、四江口三場戰役，曾紀澤一時間聲名遠揚，天下皆知，他所管轄的淮軍最終守住了上海，這讓那些曾經取笑淮軍是“乞丐兵”的官紳和洋人不得不刮目相看。
李秀成不敢不撤，因爲天王洪秀全這時已經慌了神：天京陷入了湘軍的十面埋伏！
當時李秀成號稱四十萬大軍攻上海，爲了減輕曾紀澤在上海的壓力，曾國藩除了派得力干將曾國荃和彭玉麟去攻打天京，還另外調了六路大軍從四面八方進攻天京：
第一路是曾紀澤的叔父曾國葆率五千湘軍，從蕪湖和銅陵進攻蕪湖，從南岸策應曾國荃的吉字營進軍。
第二路爲安徽巡撫李續宜部，從湖北開進六安，進攻安徽潁州。
第三路由荊州將軍多隆阿進攻廬州。二、三路的意圖是控制皖北，從北線包抄天京。
第四路乃是提督鮑超從江西進攻皖南，從南線包抄天京。
這四路大軍，加上長江水陸兩路，六路大軍全部歸曾國藩親自統帥，另外，還有一路也加入到包圍天京戰略：是浙江巡撫左宗棠帶楚軍從江西進攻浙江。
曾國藩這時用兵十分老辣，外線大包圍，內線小包圍，這種泰山壓頂之勢讓洪秀全十分緊張，一天之內，連下三道詔書急召回李秀成。
這時陳玉成死了，李秀成一軍獨大，洪秀全這時不敢完全信任李秀成，擔心忠王不忠。
洪秀全封李秀成一個忠王，無非是希望他能夠忠誠和忠心。但李秀成先是抗命不北上，湖北武昌會剿失約，坐視安慶失守不救，手下兵將越來越多，洪秀全對李秀成不信任的指數也在逐漸加碼升級。
李秀成也已經感受到了來自天王洪秀全不信任的信號。李秀成進攻上海不到五天，就從上海撤退往蘇州，除了天王聖旨，還有一個很重要的原因：就是他的部將陳坤書把蘇州搞得烏煙瘴氣，老百姓怨聲載道。
爲了保住蘇福省的省城，李秀成決定回去看看情況。陳坤書這個人好色，蘇州又是出美女的地方，他在蘇州爲所欲爲，作惡不少。聽說李秀成要來，便嚇得趕緊從蘇州跑到了常州。爲了擺脫李秀成的控制和追查，陳坤書竟然用重金到天京討封王爵。
陳玉成被誘捕殺害的那段時間，也正是洪秀全最爲恐懼的時候，洪秀全覺得要敲打一下李秀成了，不但封陳坤書爲護王，還一口氣封了一批第二梯隊的將領。除了陳坤書，李秀成部下還有五員大將也被封王：保王童容海，慕王譚紹光，聽王陳炳文，納王郜永寬，來王陸順德。
太平天國的指揮原則是官大一級壓死人，同一級別的將領之間互不統屬，彼此無權調動他人的部隊。這些人封王之後，名義上就和李秀成平起平坐了。李秀成是個聰明人，他一眼就看穿了洪秀全的用意：這是天王用分王的辦法來分他的權，提防他。李秀成不理解洪秀全爲什麼這麼糊塗，窩囊廢偏偏就得到信任喜歡，自己出生入死還要如履薄冰誠惶誠恐？他對李世賢抱怨說：“我王重用者，第一幼西王蕭有和，第二王長兄洪仁發、王次兄洪仁達，第三幹王洪仁玕，第四駙馬鍾姓、黃姓，第五英王陳玉成，第六方是秀成也。”
李世賢說：“那也沒有辦法，現在曾妖已經圍住了雨花臺。我們必須回去救援。天京不比安慶，一旦有失，我們就是天國的罪人！”
李秀成也覺得李世賢說得有道理，率領精銳萬餘回到蘇州，開始準備援救天京。而曾紀澤見李秀成大軍撤退，開始下令淮軍開闢新戰場，開始大反攻，向蘇南進軍！。