四月上旬，太平天國先是派出右路北伐軍二萬二千五百人，從揚州境出軍，繞過揚州城西的江北大營，直接經過揚州城東，殺向安幑和訶南。
緊接着，左路北伐軍一萬五千人，在朱錫錕、許宗揚和黃忠來三人率領下，從天京出發，也直接北上，齊路並進。但朱錫琨等在夜黑之下，走錯路，誤入六合縣，卻人生地不熟地爲地方團練之敵勇所阻，半夜間還被點燃營中火藥發生爆炸，全軍崩潰，將士傷亡慘重，損失五千餘人，連殿左十五指揮黃忠來也被炸死。
許宗揚率領四千餘人返回天京覆命，而朱錫錕率領剩下的五千太平兵，衝出六合境，來到安幑滁州，恰好碰到領着右路軍的秦、吉、黃三人，於是，四人一起率左右兩路北伐軍，合兵一道，繼續向北進軍。
四月二十日，東王將春官正丞相胡以晄、夏官副丞相賴漢英以及殿左九指揮曾天養三人，叫至於身前。
曾天養跟隨着胡以晄和賴漢英，來到東王府議事大廳。只見楊秀清已端坐在堂，旁邊站立着一人，卻是北王韋昌輝。
三人連忙低眉斂首依次入殿，跪倒在楊秀清面前三呼：“東王，九千歲，千歲千歲，千千歲！”
又見過北王韋昌輝：“北王六千歲，千歲千歲，千千歲！”
楊秀清讓三人起身。
曾天養只覺一陣不舒服！
曾天養深目長髯，身材雄偉，如今雖然快六十歲，但仍舊剽悍絕倫，在太平軍中，是員有名的驍將。
天國將士中，他年紀最大，當初看南王馮雲山的面上，加入了拜上帝教。再後來，大家一起聚兵反清，在紫荊山區進行反清和傳教活動，好不快活。
在當時拜上帝教衆之中，他也算是一個頭目。當初，還是他，與在平在山燒炭的楊秀清相識。他出面多次勸說，但楊秀清仍舊不肯加入拜上帝教，於是，他將之介紹給南王馮雲山。而後，馮雲山親自出面，幾番道理講下來，楊秀清才帶着幾名燒炭工一道入教。
而當時，便在曾天養的手下。
從永安城開始，太平軍中的規矩越來越大了，曾天養便開始覺得與天王東王有了隔膜，只是和南王仍舊如舊時兄弟般不變。再後來，馮雲山屢次被東王西王打壓，曾天養看在眼裡，有心幫忙，但身份低微，卻無能爲力。
於是，當他得知馮雲山在出了全州，要脫離太平軍主力自立時，欣然表示要跟隨馮雲山。但，在曾觀瀾的一番勸說下，最後答應充當南王在太平軍中的一名內應，爲他探知消息，繼續跟隨太平軍主力北上。
想到最近好久沒給南王寫信了，曾天養不由有些自責。
他擡頭一看，東王頭戴單龍單鳳的圓規紗帽，黃緞袍上繡了八條黃龍，只比天王少了一條，黃緞鞋上繡了七條龍，也只比天王少了兩條。他再看看，旁邊的北王韋昌輝，緞袍上只有四龍。想起南王說的，天王和東王骨子裡都是十分講究等級之人，從未真正將太平軍和普通百姓當成兄弟來看，如今一對照，果真如此啊！
楊秀清先是假意問候一句：“幾個老兄弟，身體怎麼樣啊？”
胡以晄回道：“某還能上陣殺敵。”
賴漢英道：“託東王福，漢英尚且健康。”
曾天養卻道：“我每天能吃五大碗，拉得卻很少，看樣子還不錯。”
楊秀清有些納悶，問掩口而笑的賴漢英道：“天養兄弟怎麼扯到拉屎上去了？”
一旁的韋昌輝讀過不少書，知道些典故，插話道：“他說的是古代老將廉頗的故事。”
見不識字的東王仍舊不明白的樣子，賴漢英補充道：“以前戰國末期，趙國有個著名的老將軍，叫廉頗。有人誣指廉頗老了，不能上戰場了，吃一頓飯便要出去拉三回屎。曾老爺子的意思是說，他還沒到這地步。”
楊秀清聽了，頓時冷哼一聲：讀過書又怎麼樣？還不是要聽本王的！
不過，他面上卻不會表現出來，只是清了清嗓子，帶着幾分得意，笑道：“如今雖然定都天京，但清妖未滅，天王和本王還是不能高枕無憂。本王已派左右兩路天兵北伐中原，去搗毀清妖的巢穴。秦日綱和吉文元、黃文金他們幹得不錯。”
說完，他從桌上拿起一封信，說：“北伐右路軍捷報頻傳。他們在浦口北上的第三天，就用大炮轟開了滁州城南門，殺了姓潘的知州。四月十二日，又破鳳陽府城，十三日和十四日兩天，接連攻破懷遠和蒙城，一路所向披靡。”
賴漢英卻道：“聽說左三檢點朱錫錕的左路軍卻不大順利？”
“是有些小損失。”楊秀清道，“他們本來在六合縣打了勝仗，可當夜營中失火，引爆了火藥，殿左十五指揮黃忠來不幸陣亡，大半將士已隨許宗揚返回天京，而朱錫錕率一部繼續北上，已在滁州與右路軍合兵。”
韋昌輝和胡以晄齊聲道：“有東王的運籌帷幄，有頂天侯臨陣指揮，攻破清妖巢穴的北伐之功指日可待。”
“天國還要西征。”楊秀清道，“眼下只有天京和鎮江揚州之地，而且還被清妖的江南江北兩座大營封鎖，沒有國土，百姓無法耕種。如今已經商討定下西征之計，今日召集你們前來，便想將此重任託付給你們！”
韋昌輝點點頭，附和道：“東王兄聖明！眼下清妖把兵力全用在江南、江北大營和堵截我北伐之師上面，整個長江上游的清妖空虛，正是我天國攻取的最佳時機。”
胡以晄問道：“是打兩湖呢，還是安幑、茳西？”
楊秀清帶着幾分意氣風發地道：“先攻安慶佔皖南，同時分兵打南昌，卡住重鎮九江，之後佔領武昌。這些目標達成後，擴充兵力，本王也會從天京繼續增派援兵，從安幑湖北境內支援北伐軍，務必佔領中原！同時，本王會擇機出兵攻佔整個江南一帶，將兩湖、兩江之地和浙閩之地全部拿下。”
“只要江南一旦平定，天國的後方就穩固了。那時如頂天侯他們已打下清妖巢穴，則最好，倘若萬一沒打下來，本王也可奏明天王，傾天朝全部天兵，全力北伐，則天下可定。”
聽完東王的戰略計劃，韋昌輝等人連忙齊聲喊道：“東王宏圖大略，清妖指日可破！”
不過，下一刻，曾天養卻皺了下眉頭。
楊秀清看見，便問道：“曾指揮，不知本王所說，哪裡不妥？”
曾天養連忙告罪道：“東王並無不妥。老漢只是聽說，如今糊南一帶和福鍵的部分地區已經被兩廣的南王所佔，若是我太平軍前去攻取，不知會否引發矛盾？”
“哼，那南王只要一日未公開宣稱脫離天國，便依舊是太平天國之南王！難不成，他還敢對我天國動手不成？”楊秀清擺擺手，接着道：“若是攻下安慶，胡以晃分兵駐守，向北發展，賴漢英、曾天養去打九江和南昌。本王已爲你們備好一千艘戰船。你們儘快出征吧。北王，你雖不出徵，但要做好糧草後勤保障，亦是無比重要！若是除了差錯，別怪本王不顧兄弟之情，拿你是問！”
韋昌輝和胡以晄、賴漢英、曾天養四人連忙齊聲答應下來。
……..
四月二十五日，以夏官副丞相賴漢英爲主將，春官正丞相胡以晄爲副，率領殿右八指揮張子朋、殿左九指揮曾天養、典水匠唐正纔等，領兵二萬三千人，乘船千餘艘，從天京出發，溯長江而上，開始西征。
至此，太平天國北伐西征兩路大軍分頭進軍，攻城掠地，天下震動。由於進軍迅速，加上滿清完全沒有準備，碩多清廷地方官府瑟瑟發抖，小縣城的守軍更是望風而逃。
……..
四月底，北伐軍攻克安幑毫州。
五月初一，北伐軍攻克訶南歸德府，殺死清軍三千多，自損五百餘人，招收降兵千餘人。
次日，增援的清軍來攻，再戰，又殺死清軍二千多名。
由此，北伐軍經安幑，入訶南。
清廷聞訊，忙派御前大臣科爾沁郡王僧格林沁、步軍統領左都御史花沙納等督辦北京巡防事宜，加強直隸京師地區的戒嚴。同時，咸豐皇帝任命新任都統勝保爲欽差大臣，趕赴訶南阻截北伐軍。
北伐軍原本定在訶南歸德府城西北四十餘里的劉家口渡過黃河。
時清軍已提前嚴密防河，把渡船和百姓的船隻全部燒燬，北伐軍到劉家口，找不到渡船，無法過河，便沿黃訶南岸往西進發。
五月十三日，在汜水口尋到近百艘船隻，北伐軍分成幾批，全部搶渡過黃河，佔溫縣，圍懷慶卻難以攻克，頓時相持起來。
而西征的太平軍，在出徵二十天後，便到達安慶城外。由於安慶幾個月前，才被太平軍攻佔不久，守城清兵死得死，逃的逃，如今歸攏的清兵並不是太多。見太平軍來勢洶洶地上千艘戰船來攻，一下便四散奔逃。
五月十五日，賴漢英等西征軍輕易地攻佔沒多少兵力防守的安慶城。
胡以晃和殿右八指揮張子朋分兵七千，駐守安慶城。而賴漢英和曾天養、唐正才，領着一萬五千太平兵，乘船前往茳西腹地，準備攻取南昌城。一路連克彭澤、湖口、南康等地。
五月底，西征軍前鋒曾天養和唐正才兩部六千太平兵，已經抵達南昌。但因強攻不能得手，乃一面圍城，一面分攻附近州縣以圍困南昌城。
就這樣，太平軍的西征和北伐，兩邊戰事都開始膠着起來。