國軍的撤退行動組織較好的情況很少見，這次尤爲糟糕。雖然也安排了阻擊掩護的部隊，但是根本抵擋不住日軍機械化部隊的猛烈攻擊。撤退很快演變成了潰退。
原本憑險據守的河防部隊此時變成了背水結寨，兩面受敵，指揮機關又常常聯繫不上，羣龍無首又敵情不明。接到蔣鼎文語焉不詳的突圍令後，不可能不陷入混亂。
4月30日，鞏東防線仍在激戰中。
戰局發生了重大變化。敵華北方面軍各部經過調整、補充，開始了豫中戰役的第二階段攻勢。敵人攻擊的鋒芒首先指向的是漢末時的臨時都城許昌。許昌和洛陽是豫省防禦工事修建最多的兩個城市。鑑於鞏東防禦戰的情形，湯恩伯此時仍然將主力部署在嵩山一帶，只派一個新29師防守許昌，希望新29師能夠憑藉堅固的永備工事堅守一段時間，這樣嵩山一帶的主力則可乘機向敵人側擊。但是天知道許昌修築工事的賬目上的鋼筋水泥到底有多少實際用在了工事上。許多所謂永備工事有沒有當地農民家的雞窩、豬圈結實都是個問號。
岡村寧次也怕再出現鞏東戰場的局面，爲了攻擊只有3000多人的新29師防守的許昌，日軍集中了37師團、27師團、裝甲第3師團和獨立第7旅團的主力部隊，並且把全部可以使用得空軍都投入攻擊作戰，日軍兵力和火力都佔據了絕對的優勢。
30日上午，敵人空軍、炮兵、裝甲兵、步兵開始對許昌發動立體協同攻擊。強弱懸殊。
下午敵軍突入城內，新29軍官兵與敵人展開了激烈的巷戰，至30日晚，許昌陷落，新29師師長呂公良與全師大部官兵殉國。
堅固設防而且守軍堅決抵抗的許昌陷落的如此之快，讓湯恩伯極爲震驚。敵人裝甲集團的強大突擊力讓湯軍各部膽寒。此時湯恩伯認爲自己的以步兵爲主的部隊在平漢鐵路沿線的平原地區與敵人的裝甲集團爲首的機械化部隊作戰將面臨滅頂之災，於是他一邊向最高統帥部報告，一邊下令讓所屬各部隊向臨汝以西的豫西山區全面撤退。也就是要撤到今天的焦枝鐵路以西的地區。
岡村寧次立即抓住了這個戰機，命令在豫中的日軍主力傾全力全線追擊。
國軍的撤退行動組織較好的情況很少見，這次尤爲糟糕。雖然也安排了阻擊掩護的部隊，但是根本抵擋不住日軍機械化部隊的猛烈攻擊。撤退很快演變成了潰退。
隨後幾天，登封、臨潁、郾城、漯河、襄城、舞陽乃至湯恩伯經營多年的葉縣相繼陷落。至5月3日，臨汝失陷，隨後寶丰、魯山也淪於敵手。敵人已經前進到今天的焦枝鐵路一線。5日，敵軍進佔伊川，所謂的“龍門支隊”向洛陽南郊逼近。7日，由信陽北犯的敵軍連克確山、遂平，8日，日軍南北會攻西平，敵27師團與北上的敵獨立11旅團會師，日軍首次打通平漢鐵路。落合甚九郎對岡村寧次佩服得五體投地。
此時，一戰區洛陽以東的部隊唯一沒有潰退的只有鞏東守軍。5月3日，臨汝失陷後，第四集團軍側後出現日軍，防禦態勢惡化。爲防萬一，第四集團軍命令38軍的工兵部隊在偃師以南的伊洛河上架設浮橋準備退路。
至5月5日，敵軍已經出現在洛陽南郊龍門一帶，形勢危急。是日，蔣介石親自給第四集團軍來電稱：“孫總司令，兄部陣地爲此次中原戰場之軸心，關係全盤作戰之勝敗與國家之存亡，務希督飭全體忠勇將士，抱定與陣地共存亡之決心，發揮我國民革命軍之戰鬥精神，奮勇殲敵，達成使命，庶不愧爲總理之信徒與本黨之戰士。此次作戰，兄部能屹立不動，指揮若定，至爲慰念，希激勵所部，始終確保陣地，達成任務，是所厚望。中正手啓。”(辰歌酉)第四集團軍受此鼓勵，遂繼續堅守防線，此時鞏東防線已經變成向東、南兩面防禦的態勢。
湯恩伯集團的部隊已經進入豫西山區，有一些退到了豫西南5戰區的防區，還有一些甚至跑到了陝南8戰區的區域。由於日軍追擊速度太快，湯軍很多部隊在退卻中被打亂了建制，許多部隊以營、團單位各自擇路而逃，有時候還未到達規定的集合地點，該地已經被日軍佔領。混亂在加劇。一些連排位單位的散兵遊勇像無頭蒼蠅一樣到處亂撞，一些沒有給養供應的部隊沿途洗劫各村鎮的中國百姓，強姦、殺人的案件也屢有發生。一些有組織的村鎮，比如成立有民團自衛隊、護寨隊以及有中共地下黨組織的地方開始組織百姓將潰兵繳械，特別是尚武之風較強的嵩山周邊地區，一些民衆武裝甚至把整連甚至整營的湯軍繳械。
登封縣一個鎮的紅槍會會長在把國軍一個連繳械後，指着那個連長的鼻子罵道：“他媽的，你們這幫子王八羔子，老子們這裡的百姓賣兒賣女來出錢、出糧養着你們，平日裡受你們的窩囊氣也都認了，指望你們能打敗鬼子光復山河，可鬼子來了，你們他媽的就會像兔子一樣逃命，你們跑了，想讓老子們當亡國奴？沒門！這些傢伙拿在你們手裡真他媽的浪費，老子要讓你們看看拿到老子們手裡是咋用的。你們這羣王八蛋一個也別想跑，全都編到老子的隊伍裡，一人發一根木棍跟着幹，誰他媽不願意，老子現在就活埋了他個王八羔子！”
地方自衛武裝、共產黨的民兵組織甚至當地的土匪隊伍都有壯大。許多村鎮開展武裝自衛，小股日軍不敢離開交通線到鄉村四處騷擾。正在執行作戰任務的日軍大部隊也無暇離開公路線去攻擊“掃蕩”這些個形形色色的武裝組織。豫中戰役，日軍達到了打通平漢鐵路的目標，但是要想鞏固新佔地區，以戰養戰卻是不可能的。