臺兒莊一帶，耕地之下盛產石頭，這裡的居民都以石爲牆修建住宅。等戰爭來臨之時，居民們已經舉家南遷，全都去了徐州躲避戰火了。現在，這些石頭建的房子成了守軍最好的陣地，每一所房子就是一座堅固的堡壘。日軍在這些堡壘前吃盡了苦頭，他們的機槍和步槍對這些石頭堡壘毫無辦法。日軍只好呼叫戰機和重炮火力來摧毀這些石頭房子，再派出步兵在戰車的掩護下，與第2集團軍進行逐屋的爭奪戰。
日軍猛攻了3天3夜，才衝進了臺兒莊內，與守軍發生了激烈的巷戰。此時，第2集團軍已經有些傷亡過大了，漸漸的有些頂不住日軍的進攻了。關鍵之際，第2集團軍司令孫連仲親臨一線爲官兵們鼓勁。受到鼓舞的第2集團軍官兵們，與日軍在城內展開了拉鋸戰，一時之間，臺兒莊內的戰況變得異常慘烈。通過一夜的休整，日軍在9輛戰車的掩護下，猛攻城北的陣地。第2集團軍的將士們硬是用血肉之軀，摧毀了日軍的9輛戰車。緊接着又使用西北軍的傳統武器“大刀加手榴彈”與日軍展開了肉搏戰。
正當臺兒莊之戰進行到激烈的時候，蔣介石指派副總參謀長白崇禧親到徐州，召見第5戰區的抗日將領，慰問抗戰官兵，鼓勵前線將士奮勇殺敵。白崇禧對那些將領們說道：“日軍有不可戰勝之神話，望我軍將士團結一致，打破這個可笑的神話！且見今日的戰爭態勢，只要我們有敢打之決心，則此神話必破無疑！”第二日，“小諸葛”白崇禧親自到臺兒莊的戰場上偵察，指定了一個全殲嘰谷師團的宏偉計劃。
白崇禧和李宗仁這對老搭檔，在臺兒莊外圍調集了重兵，將嘰谷師團圍了個水瀉不通。嘰谷廉介發現自己的後路被斷，就橫下一條心要死拼到底。他在全力向臺兒莊進攻了一整天之後，發現守軍非但沒有後撤，反而還越戰越勇，經常不計代價的與自己的部隊展開了對攻。嘰谷廉介猛然間意識到這次恐怕要糟糕了，於是他急令部隊停止進攻，反過頭來組織部隊向後方進攻，以求突破中國軍隊的包圍圈。中央軍湯恩伯的第20軍團的兩個軍向日軍的側翼發動猛攻，對日軍所佔領的村子，全部用機槍封住村口，在放大火焚燒，湯恩伯稱此爲“堵洞滅鼠”。一時間，他們將劉莊、馬莊、柿林園等村裡的日軍殺了個乾淨。這一帶的日軍見進攻受挫，又後退無路，中國軍隊又四面合圍，喊聲震天，衆日軍紛紛大喊着玉碎，迎着中國軍隊進攻的方向，發起了最後的衝鋒。
臺兒莊方向，戰事尤爲激烈。池峰城部對莊內的日軍實行了反攻，一支百人的突擊隊，在迫擊炮的掩護下，向文昌閣發起了反擊，將盤踞其內的日軍盡數殲滅。第2集團軍黃樵鬆部則對臺兒莊北面的日軍實施反擊，接連攻克了邵莊、園上、猛莊等地。第2集團軍陳金照部向南洛、三裡莊挺進，截斷了臺兒莊內日軍與外界的聯繫，並給前來增援的日軍部隊以重創。
嘰谷廉介發現自己已陷入重圍，就急命赤峰聯隊不惜一切代價增援臺兒莊。並親臨一線督戰。城內日軍在援軍到達後，又發動了猛烈的進攻，重新控制了臺兒莊的東半部。當天夜裡，31師副師長康法如率軍向日軍反攻，激戰數小時後沒能奪回東城。第二天清晨，31師和黃樵鬆的27師聯合發動進攻，終於奪回了東城。此時，小小的臺兒莊裡裡外外，雙方已經傷亡了近萬人，城內早已是屍積如山血流成河了。隨便抓起一把地上的焦土，都能從裡面扒拉出幾塊彈片甚至是碎肉。
31師師長池峰城將軍已經記不清是第幾次派敢死隊出擊了，他只記得每次出擊，數百人的敢死隊根本就回不來幾個人。這時全城三分之二都已經被日軍佔領了，日軍的電臺甚至已經再向總部報告，他們已經取得了最後的勝利佔領了徐州門戶--臺兒莊。池峰城覺得再拼下去已經沒有意義了，如果31師流盡了最後一滴血，那西北軍就連顆種子都沒了。於是他向老長官孫連仲請示，可否轉移陣地，暫時撤到運河對岸去。孫連仲實在沒有辦法拒絕池峰城的請求，他們31師已經與日軍激戰了整整8天了，對這樣一支部隊他還能說什麼呢？何況31師還是第2集團軍的王牌，這樣消耗下去簡直就是在放自己的血啊，他確確實實的對此感到了心疼啊！可是，孫連仲還是沒有讓31師撤下來，他把電話打到了徐州長官部，請求長官部下命令，讓31師暫時撤到運河南岸來。參謀處的軍官們也不敢下這樣的決定，急忙向參謀長徐祖貽請示。徐祖貽認爲此事關係到全局的安危，便及時的把情況通報個了李宗仁。此時的李宗仁早已成了熱鍋上的螞蟻，他有些坐臥不寧的。他最初是想利用嘰谷廉介的驕狂輕敵的心理，在臺兒莊地區好好的殺殺嘰谷廉介的威風。但自打白崇禧來了之後，他們就制定了一個以臺兒莊爲誘餌，吸引嘰谷廉介來攻的圈套。等臺兒莊守軍將敵人消耗得差不多的時候，在讓中央軍湯恩伯部秘密南下，從日軍的背後發起攻擊，把整個口袋給紮緊了，一口氣把嘰谷師團吃掉。46
如今，孫連仲付出了巨大的代價，把嘰谷師團消耗得精疲力竭了，但此時負責扎口袋的湯恩伯卻跟他唱起了對臺戲。李宗仁雖三令五申的命令湯恩伯火速南下，但湯恩伯總是推三阻四的，仍在姑婆山前停滯不前。如果湯恩伯不能及時趕到，孫連仲付出的巨大代價就將毫無意義不說，嘰谷廉介用不了多久就會喘息過來。另外日軍的增援部隊也會及時趕到，到那時整個魯南會戰將會慘敗，武漢也勢必難保，中國抗戰將一片黑暗。李宗仁在無奈之下，給身在武漢行營的蔣介石打去了電話。蔣介石從大局出發，也急切的希望第5戰區能打一場勝仗，用來鼓舞軍心、民心。於是，蔣介石對李宗仁說道：“凡對抗戰不利者，你皆有權先斬後奏！”
得到了尚方寶劍的李宗仁，隨即對湯恩伯訓斥道：“我已受蔣委員長之命，有權對抗戰不利者先斬後奏！如有所屬再不服從軍令，致使貽誤戰機，當按韓復榘的前列嚴辦！”湯恩伯受到了震懾，這才答應即刻就領兵南下。李宗仁預計湯恩伯至少需要2天時間才能向嘰谷師團發起攻擊，他就只好硬着頭皮命令孫連仲軍團，必須死守臺兒莊，決不許後退半步，違令者將以抗戰不利罪論處。
沒多久，孫連仲再次打來電話，他對李宗仁說道：“李長官，第2集團軍已經傷亡過半，實在是堅持不下去了。我們已經把敵人也消耗得差不多了，可否請長官答應暫時撤退到運河南岸來，好讓我們西北軍留下點種子，這也算是李長官的大恩大德！”李宗仁對這些西北軍舊部還是有些瞭解的，深知這些西北漢子忠厚老實。若非不得以，孫連仲決不會如此的苦苦哀求。但他知道臺兒莊之戰容不得循私情，稍有不甚就會功虧一蕢。李宗仁只好對孫連仲說道：“敵我在臺兒莊已血戰一週，勝負之日就在這最後的2天了，援軍最遲可在明日中午到達，我本人也將於明晨前去你處督戰。你部務必再堅守2天，這是我的命令，如有違抗，當軍法從事！”