在陳文率領的這支先頭部隊所製造的壓力下，撫標營的軍官們在商議了片刻便決定放棄繼續攻城。城外的探馬只需要在鳴金的同時派出部分步兵接應便可以平安的撤回來，可是想要將已經攻入城內，天知道是在忙着鎮壓守軍反抗，還是急着殺人越貨、搶掠民財的攻城部隊想要撤回來，卻並沒有想象中的那麼簡單了。
左營遊擊的信使已經派出，負責清剿城北的軍官們立刻開始收斂部隊，只是越往南收斂部隊的速度就越慢。除去道路更爲熟悉的明軍還在利用大街小巷進行牽制和抵抗外，城北的清軍在驅逐守軍後便迅速開始了例行的搶劫工作，而越往南開始這一比作戰還要重要的工作的清軍就越晚開始，所以進度上也要遠遠落後於前者。
信使不斷派出，已經攻入城南的清軍軍官們在軍令之下也紛紛派出親兵、家丁們去收斂分散出去的部隊。可是對於那些正忙於搶掠的清軍而言，這個命令卻無疑是讓他們將觸手可及的財貨視而不見，讓他們根本看到不到往日清軍軍官們所具備的那些“人性的光輝”。
既然沒有了“人性的光輝”，那麼就乾脆做得更加禽獸一些。撤兵的命令已經下達，作爲撫標營這樣浙江綠營精銳的士卒，對於軍令還是能夠嚴格遵守的。奈何這財貨眼看着失之交臂，那麼就乾脆誰也得不到好啦，至少不至於資敵。
洗劫民居、商鋪的清軍們扛着大包小包的財貨，點燃手中的火把後便拋向了周圍的房屋。這樣一來，既可以對縣城造成大規模的破壞，又可以毫不費力的遏制住守軍追擊的步伐，可謂一舉兩得。
這等人爲製造的火災很快就點燃了清軍撤退途中的房屋，見家宅被燒，倖存的百姓們紛紛跑出來救火，而他們只要沒注意出現在清軍的視線中就勢必會遭到清軍的射殺。
隨着清軍撤退的步伐加緊，火勢也越加的大了起來，濃煙也隨之而起。火光此起彼伏，空氣中除卻嗆人的濃煙，還有燒灼人體所含的蛋白質產生的那種特殊的臭味，而更多的卻還是來自於百姓的哭喊聲。
一時間，曾經的那座“北依山麓，西帶繡湖”且望江而立的義烏縣城在清軍的燒殺之下化作人間煉獄一般。
清軍點燃房舍的行動有效的阻止了守軍尾隨的企圖，迫不得已之下，守軍只得在軍官和已經組織起大量民夫的孫鈺的指揮下開始救火，以便最大程度上的減少損失。
火勢與濃煙頓起，不僅僅是城內的居民和守軍有所行動，遠離縣城與清軍在城北對峙的陳文也注意到了這一點。
此前的激戰中，陳文仗着臂甲上的小盾硬抗了那個清軍的劈砍，雖說胳膊沒斷，但是力量作用下的腰刀還是將小盾劈砍的凹了下去，也使得陳文的胳膊，甚至是半邊身子都有些酥麻。
胳膊已經腫了起來，血液也順着袖口滴滴答答了起來，想來還是受了些傷。陳文坐在遠處的一座小丘頂上，在麾下騎兵的護衛下由着一些粗通跌打的士兵爲他和其餘受傷將士處理傷口，而他的心思卻早已飛到了遠處。
眼下清軍的騎兵已經重新聚合在一起，並且與步兵匯合回到了將旗之下，以着手中的兵力再難撲上去利用兵力的優勢和節奏的掌控將其撕碎了。眼見着清軍已經開始鳴金撤兵，牽制的目的已經達到，可是這場兵禍所造成的損失卻着實不小，那麼就絕對不能放任撫標營順利撤回諸暨，怎麼也要設法留下一部分，纔不至於留下一個清軍想來就來想走就走的印象給當地百姓。
剛剛的騎戰中，清軍騎兵損失要比明軍多上一些，其實際上也不過損失二十餘騎罷了，城內的拉鋸戰清軍損兵多少並不清楚，但是從火光升起的大致方向來看，守軍的損失決計不會在少數。那麼，憑藉着手中僅有的這不足百騎應該如何拖住撫標營呢。
思前想後卻只有等到大隊的援軍抵達纔有可能牽制住清軍，與東陽營合力將其擊潰這一辦法。眼見於此，陳文便立刻派出了信使，向鄭家塢鎮方向駛去，以便協調兩路援軍，不至於被清軍各個擊破。
義烏縣城雖然不大，但是此前的爭奪比較激烈，清軍還是到了天色隱隱暗了下來才完成撤離工作。留在義烏城北對清軍全無好處，可若是連夜向浦江縣急行軍又容易在入夜後遭到明軍的襲擾。於是他們便趕忙向北撤退，直到一處有溪流可以作爲依託的地點才停下來紮營。
爲了保持接觸，陳文始終率隊遙遙綴在清軍後面，絲毫沒有放棄追擊的念頭。此刻清軍已經紮營，他也只得將部隊安置在一座前不久被清軍血洗過的小村之中，並且派出少量探馬繼續觀察清軍的動向。
不過到了深夜，此前派去勾連守軍的信使還是設法追了上來。孫鈺和守軍主將安然無恙，只是城內不少地段都被清軍焚燒了，當然也有像縣城那樣被明軍主動燒燬的。至於損失，確實不在少數，這支守軍已經徹底失去了出城野戰的可能。
所幸的是，同時帶來的還有一個消息，那邊是佛堂鎮的援軍已經抵達義烏，正在尾隨着明軍騎兵留下的蹤跡趕來與陳文匯合。
雖然只有兩個哨，但是此刻手中哪怕只是多一個兵也定然比沒有多出來要更有底氣。一夜過後，清軍開始繼續向北轉移，而陳文則繼續帶着援軍尾隨，拿捏着彼此之間的距離，以便等待最好的機會出手。
很快，陳文的另一支援軍也追了上來，一時間手中的軍隊從一百餘騎兵，已經發展爲一個局外加兩個哨的步兵隊，外加上一百餘騎兵和不到兩百名鳥銃手。
這樣的兵力面對撫標營依舊不存在什麼戰而勝之的可能，只是此刻清軍已經進入到烏山和橋頭山之間的走廊地帶，其前鋒甚至已經接近安止亭，再往北便是浦江縣的地界了。此地距離清軍登岸的黃宅已經不遠了，一旦讓清軍登船自浦陽江順流而下的話，那麼陳文便再難將其留住了。
眼見於此，陳文便命令麾下的騎兵向清軍殿後觀察明軍動向的探馬衝殺過去，做出了一副準備魚死網破的架勢。
明軍尾隨而行，顯然是不打算放他們離開，可若等到他們登船時明軍發起進攻的話，那麼很可能就會是一場潰敗。此前只是由於明軍始終保持距離纔沒機會下手，既然此刻明軍撲了上來，那麼清軍便立刻擺出了架勢，試圖以此戰杜絕隨後的隱患。
可是就在這時，安止亭下，東陽營突然出現在這片走廊地帶靠近浦江的一側，與陳文麾下的援軍形成了關門打狗之勢。