11月4日上午，趙大志副師長組建了一支一百人左右的特別行動隊協助防空炮營一個連，鑽進大山之中，向桂林城方向摸過去。
20軍在晚上派出一個團武裝偵察得知，日軍聯隊殘部在坦克保護下待在嘉會鄉方向，就派出一個團走山樑，決定讓該團在嘉會鄉東側大山裡居高臨下，對日軍進行打擊，逼迫日軍繼續向後撤退。
楊幹才給張昊發報，得到張昊同意後，決定從江永縣方向把一個後備師調過來，守衛山樑，威脅陽朔。
11月5日晚，嘉會鄉地區日軍在20軍的沉重打擊下，日軍聯隊殘部被迫繼續後撤，20軍一個師控制住陽朔東側大山，陽朔方向日軍處於20軍的攻擊之中。
同時獨立師防空炮營來到桂林城東，對集結於桂林城東日軍進行打擊，一股日軍被消滅。
在桂林方向日軍，嚇得魂飛魄散，以爲張昊兵團即將對日軍發動全面進攻，向11軍司令官橫山勇告急電報接連不斷髮了過去。
11軍司令官橫山勇在司令部着急得團團轉。
橫山勇還不準備抽調桂林方向日軍向東突圍，而是命令圍攻桂林之日軍加緊進攻，務必以最短時間拿下桂林。
橫山勇果然是軍事家，在這種情況下，假如向東突圍，必然會導致兩面受攻。只有拿下桂林後，纔有一線生機。
橫山勇給各部的命令被雪兒情報團隊截獲，報告了張昊後，張昊命令獨立師遠程火箭炮四個連歸屬大牛指揮增援20軍134師，楊幹才率領獨立師炮團和134師，離開龍虎鄉，前往桂江恭城河一線，佔據那裡的山頭，對陽朔進行壓迫。命令在江永縣的最後一個留作預備隊的師接替134師守衛龍虎鄉方向。這樣一來，20軍三個師就形成了犄角之勢。獨立師臨時指揮部則南下，前往賀州與先期到達之師部會合。
11月8日晚，20軍調整部署到位，由此張昊兵團象鐵索一樣，把桂林方向日軍捆綁得更加緊了。張昊也率領了臨時指揮部到達賀州，與董壯飛參謀長領導的師部會合。賀州地理位置非常重要，但經濟極其欠發達，整個城裡沒有一幢象樣建築。師部只能反客爲主，佔據縣政府，縣政府則搬到一個學校去辦公。張昊來到這一側後，第一次住進房屋內，有終於回到家的感覺。
統帥部得知張昊安排20軍到達現位置後，一下慌了神，委座親擬電文，命令張昊不能再安排隊伍逼近桂林，要求張昊就地據守。沒有命令，不得再西進。
張昊收到統帥部電報後，早有預料，內心波瀾不驚。在打仗這一方面，將在外君命有所不授，只要有戰機，張昊仍然會獨立行動。假如全聽統帥部遙控指揮，這仗沒法打。張昊仍然在思考着，逼迫日軍主動進攻策略。
11月8日晚張昊在賀州獨立師師部召開會議，會議由戴副局長、董壯飛參謀長、周永強、雪兒、錢詩雨、王道明、陳少勇、警衛營營長、20軍的那位團長、楊芳等出席。會議室不大，只有一間房，開會時大家只能擠坐在一起。
會議第一個議題是商量張江運輸營補給分配事宜，這事由董壯飛參謀長負責協調。第二個議題是如何進一步逼迫桂林方向日軍主動進攻，由陳少勇參謀研究，各部消息有陳少勇負責彙總報告。第三個議題是如何與桂林守軍取得聯繫，這事由戴副局長負責。第四個議題是野戰醫院要做好接收重傷員準備工作。院長王道明要與地方政府接洽好，由地方政府協助從前線接來傷員。第五個議題是與地方重點是少數民族處理好關係。強調不主動參與剿匪工作，假如有土匪騷擾，嚴懲不貸。第六個議題是雪兒要領導好情報團隊，盡力獲取11軍軍部與第3和第13師團情報。第七個議題是董壯飛參謀長要整合地方武裝，協助師部力量，加強對賀州的保衛工作。
張昊跟大家說，賀州地方雖小，但卻是目前整個戰役的中心地帶，與桂林、柳州、梧州、廣州全都相距不遠，必須加強保密工作，不能讓日軍得知我們的指揮部就設置在這裡。警衛營和20軍的那個團全都有周永強與雪兒領導，把20軍一個團部署於賀州南側步頭鄉，防備信都和懷集方向日軍攻打過來。
會議結束後，張昊回房睡覺，這個晚上自然由錢詩雨陪睡。錢詩雨過去稱爲秘書，現在改稱爲副官，她可以代替張昊處理相關工作。三個女人到了一起，張昊和她們約定好，每晚輪流陪睡，任何人不得搶，不得鬧意見。誰發脾氣，張昊就會不理誰。
張昊處理女人關係雖然沒有經驗，但沒有女人陪睡日子照樣過，誰敢跟他鬧情緒，張昊發起火來，是肯定會不理睬她的。
生活上的事情，張昊並不願意花費精力，戰事這麼緊張，桂林方向不久必然會有驚天動地大戰，張昊哪有心思和女人們煩啊？
這天，桂林方向日軍向桂林城發動了一天的攻擊行動，日軍空軍協助戰鬥。德智中學以西山地除猴子坳及德智中學外，全部被日軍攻佔。712團官兵傷亡和逃跑數量過大，混合編組僅只剩一個營兵力，仍守猴子坳及德智中學各個據點與敵戰鬥。下午8時至10時敵集中優勢炮兵重炮三十餘門、山炮百餘門向城內各據點進行密集炮擊，敵步兵在炮兵掩護下分別向守軍陣地進行猛撲。各方面攻擊之日軍都被擊退，惟有守備中正橋以北鹽街沿河之線的守軍陣地，被敵炮兵摧毀，敵步兵由河東岸利用木排，強行渡河成功，一股約三百餘人竄入鹽街，中正橋橋頭堡及沿河各個獨立堡壘均被佔領。守軍象鼻山炮兵發現敵強行渡河作猛烈射擊，將敵後續渡河部隊阻止而截斷。韋雲淞知道中正橋橋頭堡及沿河之線被日軍突破，一部日軍竄入鹽街後，就派師預備隊在皇城方面進行阻擊竄入城中之日軍；並命令巢威恢復中正橋橋頭堡及沿河之線陣地，懸賞奪回橋頭堡的給五百萬元，奪回沿河之線陣地的一千萬元。
11月9日巢威親率預備隊一營千方百計地於當日下午3時將中正橋橋頭堡及沿河陣地恢復。竄入鹽街之日軍，被守軍兩面夾擊，圍困在街道構成的房屋堡內。日軍各方面仍繼續攻擊，雙方均無進展。
11月10日，守軍兩營進行圍攻竄入鹽街之敵無效。敵各方面繼續向我守軍各陣地攻擊，以北門甲山西門敵之攻擊爲最激烈。同時河東岸七星巖393團無線電話通訊中斷六小時，不知河東岸狀況。
城防司令韋雲淞以桂林戰況不利，於11月10日下午4時召集守城高級將領開緊急軍事會議，巢威在象鼻山前線指揮作戰，未參與這次會議。首先韋雲淞責備131師闞維雍部隊作戰不力，被敵突破中正橋以北沿河陣地而竄入城內，屢次掃蕩而不能奏功，造成了腹心之患。他說河東岸各據點無線電話不通，河東戰況不明；德智中學以西山地各據點，大部陷入敵手，與712團通訊也被敵截斷；雖然各方面陣地尚能穩定下來，但我官兵傷亡過大，陣地守軍逐漸削弱，勢難久守；處在現在戰況下，徵求各人意見。大家都不敢發言。
韋雲淞繼續說：“守是守不了，不如放棄桂林突圍而出，而免被敵全殲。”
大家都贊同。決議黃昏後除象鼻山、將軍山，河東岸各據點不通知外，其餘各陣地部隊，只留少數部隊困守陣地，大部在黃昏撤離陣地分向西方突圍，突圍後以兩江圩爲第一集合點，然後前往陽朔方向，以龍勝爲總集合點，想辦法與張昊兵團會合。會議散後，韋應淞命令各自回指揮所作突圍之準備，黃昏後開始行動。
散會後131師長闞維雍回到師指揮所，師部人員已集合在會議廳等候他開會。闞維雍對他們說：“有好消息，你們等一會，我回房小便後再來告訴你們。”誰知闞回房後，房內就傳出手槍聲，參謀長郭炳祺趕緊跑進房看時，見闞維雍已經倒在血泊之中。闞維雍在奉命守桂林時，就下了與城共存亡的決心，曾經寫下絕命書信寄柳州給他的家屬。
參謀長郭炳祺立即打電話報告韋雲淞，韋雲淞說“死了算了”，仍然命令各團按照計劃準備突圍。
170師師長許高陽散會回指揮所後，打電話要巢威由第一線返回商討突圍事宜。巢威回到指揮所時，許高陽將突圍決定轉告。晚上9時，巢威到達通往德智中學的橋頭，師直屬部隊陸續到來，韋雲淞、賀維珍、許高陽也於9時經過那裡。
他們對巢威說“希望你好自爲之”，說完後他們就倉皇向西去了。晚上11時，到來的有175師的樑營和310團的黃營，309團二個步兵連和一個機槍連。當時德智中學之日軍向守軍射擊，證明敵人又佔領了德智中學。巢威隨即命令黃營擊退德智中學之敵。並立即率各部到達德智中學召集各主管說明企圖，命令樑營向猴子坳攻擊，黃營攻擊尖峰坳。樑營攻擊猴子坳，攻佔第二個坳口時傷亡很大，繼續向坳頂攻擊時，樑營長不幸陣亡，士兵潰退下來。巢威親率特務連繼續攻擊猴子坳，當時面部兩處受傷，牙齒被打掉過半，當場昏倒不省人事。城防司令部參謀長陳濟桓是一個跛子，行動不便，他隨韋雲淞突圍，走山坳的小道失掉了連絡，跑來跟隨巢威行動，也同時陣亡。
巢威受傷不省人事後，部隊傷亡非常大，無人指揮而自行潰散。同時黃營攻擊尖峰坳，營連長陣亡殆盡，部隊也潰散無人掌握而被敵俘虜。11日上午8時，桂林守備戰鬥到此終止。
柳州方向，10日凌晨，日軍第3師團第34聯隊與第104師團第161聯隊第3大隊攻佔柳州飛機場。美國陸軍航空隊支援戰機30架及桂林機場遭日軍擊毀；堅守柳州城區的隊伍傷亡過半，奉命撤離，柳州失守。隨後，日軍11軍第3、第13師團沿黔桂鐵路（都勻-柳州）向西北進攻；日軍第23軍沿柳邕公路（柳州-南寧）向西南進攻攻佔南寧。
11日下午3時，張昊在獨立師指揮部得到20軍楊幹才報告，說在陽朔方向傳來密集槍聲，張昊命令楊幹才派出偵察人員前出偵察，搞清情況。
不久，戴副局長來到指揮部，告訴張昊桂林已經失守，韋雲淞等帶領着部分潰軍，撤至桂林西側，繞遠路，正往20軍方向潰逃過來，沿路有大量潰兵被抓。
張昊得知這一消息後，二話不說，當機立斷給20軍軍長楊幹才發報，命令其派出一個團前出接應桂林潰兵，接應到後，讓潰兵撤往賀州。
張昊命令董壯飛參謀長立即與賀州政府聯繫，讓地方武裝前出接應桂林潰兵，命令錢詩雨與地方有門部門聯繫，爲潰兵準備糧食和住所。