帶來這個消息的信使是從越州來的，攝政王趙構已經回到了陸地上，以越州爲行在。
原來建炎四年完顏兀朮南下搜山檢海，完顏兀朮佔領臨安府後，即命斜卯阿里和烏延蒲盧渾帶四千精騎，急馳明州，追捉宋高宗。
這支金人的偏師經歷長途奔波，已成強弩之末。留守明州的是張俊。
張俊欲遣人硬探，無敢應者。有軍兵任存請行，俊壯之曰：汝果能得其實當與汝官。存拜謝而行不旋踵以手提二級而還，具得金人之虛實。
俊大喜遂瘳和兵之計亦會隱士劉相如勸統制劉寶與戰不勝。再命王進黨用邱橫迎敵用與橫皆被傷。楊沂中田師忠再戰又不勝。李寶繼進苦戰，李直率諸班直以舟師來助。劉洪道又率兵射其旁金人乃敗而稍退去。
完顏兀朮（宗弼）派兵增援，張俊急忙撤離明州。
金軍雖佔領明州，但處境日益困難。遙望東海，煙濤微茫，無宋高宗逃帆之影跡；回首西北，山水重沓，卻有岳飛等虎旅之阻擊。密佈的河湖，不利騎兵的縱橫馳騁；卑溼的地氣，又造成將士的水土不服。
完顏兀朮終於決定撤兵。因劫掠的財物過多，如按來路直接北撤，陸運不便，於是金軍繞道大運灌，水陸並行，破秀州，陷平江府，佔常州，準備自鎮江府（治丹徒，今江蘇鎮江市）渡江。當時浙西運河全程有六百四十一宋裡。
完顏兀朮宣稱“搜山檢海已畢”，用以掩飾其軍事上的失利，又殘酷地進行焚戮，用以發泄其氣惱。
最先遭殃的是明州，州城裡的居民基本殺光，除東南角的幾所佛寺外，房屋也全部燒成灰燼。金軍又派兵四出，在整個州境搜剔殺掠，即使是人人跡罕至的深山窮谷，也罹其荼毒。
接着，金軍又在臨安府城縱火，連燒三天三夜，煙焰不絕。臨安府在南宋初幾經兵燹，戶口只剩下十分之二、三。
在平江府，縱橫百餘里的大火，五天方滅。
金軍的殺掠，加之官軍的騷擾，建炎四年夏季的瘟疫，平江府人民喪生者近五十萬，只有十分之一、二的人口倖免於難。
此次金兵渡江，東路軍所蹂躪的面積比西路軍小，約爲兩浙路的一半和江東路的一角，但這個地區卻是宋朝最豐膄的穀倉，是當時全世界最富庶的地區，飽受了如此酷烈的戰禍，非短時期所能恢復。
江南軍民面對金兵的兇暴行徑，也進行了奮勇的抵抗。
金軍攻打臨安府時，州治錢塘縣令朱蹕率鄉兵二千，橫挑強敵。他身受重傷，仍然令士兵揹負他後，仍然令部兵揹負他，繼續指揮戰鬥，最終在天竺山英勇犧牲。弓手首領祝威和金勝率餘部據守葛嶺。他們在崎嘔的山路上，用泥土覆蓋編竹，佯裝通道，設下埋伏。金朝騎兵衝擊葛嶺時，一批又一批地踣僕，亂成一團。鄉兵們揮兵刃奮斫，使敵人橫屍山谷。狂怒的完顏兀朮以大兵從南麓衝上葛嶺，因衆寡懸殊，祝威、金勝等壯烈戰歿。⑦
在嚴州桐廬縣，錢嶨、錢觷兄弟和方庚指揮民兵三千人，於牛頭山擊敗了金兵。
金軍進犯越州時，餘姚知縣李穎士招募幾千鄉兵，同把隘官陳彥一起禦敵。他們佈列了很多旗幟，迷惑金軍，勝利地阻擊了一晝夜。
建炎四年秋天，完顏兀朮的大軍撤離平江府時，宋軍統制陳思恭率領所部，邀擊泊船於吳江縣境太湖中的敵人後軍，也取得勝捷。
完顏兀朮在江南屢遭挫折，氣焰收斂，他斷言江南氣候不宜，不利於金兵長期佔領。在建炎四年年底，完顏兀朮到達鎮江府，打算滿載擄獲品渡過大江，卻遭到韓世忠軍的攔擊。
金軍號稱十萬人，韓世忠所屬只有八千餘人，欲與金軍陸戰，顯然力不從心。韓世忠命全軍登上戰艦，以水師迎戰陸軍，確是以己之長，攻敵之短。完顏兀朮只能用小船馳出運河，在金山一帶江面迎戰，屢次失敗，十分狼狽。他請求韓世忠放金軍過江，韓世忠卻提出他不能接受的條件：放回徽、欽二帝，歸還宋之故土。
但韓世忠的海艦尖底，吃水深，無法進入運河。走投無路的金軍退到黃天蕩企圖開掘一條河道入江，又遭韓世忠攔截。後有奸細獻策，金軍又另外掘通河道，得以將船隻經秦淮河，引入金陵城西的江面。
韓世忠軍還是溯江趕來邀擊。有人教完顏兀朮乘無風之際，用小船向宋軍施放火箭。韓世忠軍原來準備水陸兩棲作戰，其航海鉅艦還裝載馬匹、糧食、輜重、軍人家屬等，無風不能行駛，遭敵人攻擊後，韓世忠的鉅艦一艘接一股着火，蔽江而退。
黃天蕩之戰前後相持四十日。韓世忠雖敗猶榮，此戰使完顏兀朮等領悟了一個淺顯的軍事常識，在大江上往返，非同兒戲，甚至會有滅頂之災。
金陵府成爲金軍在江南僅存的立足點，對於再下江南，吞滅宋朝，無疑有非常重要的軍事價值。當完顏兀朮和韓世忠在江上相持之際，金陵府的金兵在城東北的鐘山、城南的雨花臺構築大寨，開鑿了兩道護城河，並在山上挖洞，以供“避暑”之用。
金人“陸增城壘，水造戰船”，從採石磯渡江北去，繼而復返的隊伍，也絡繹不絕。韓世忠的戰敗，又使金人留駐金陵“避暑”的可能性增大了。
就是在這個時候，趙構浮海歸來了。攝政王以越州爲“行在”。趙構將金陵府的金軍視爲懸在自己頭頂上的利劍，但卻不敢主動進攻金兵。
就在這個當口，趙構攝政王府得知呼延庚被圍困在平陽，秦檜等人判斷，洛陽的完顏兀朮未必有精力增援金陵。
他們爲此調動了可以調動的全部兵力，任命張俊爲浙西路、江東路制置使，“諸將並受節度”，全權負責收復金陵事宜。可是卑怯的張俊寧肯任人切齒唾罵，也不敢向金陵前進一步。
趙構想起了忠勇的岳家軍。