吳佩孚所部撤防是從一九二零年五月二十日開始。
他事前曾電請張敬堯派員到衡州協商接防問題。張敬堯派湖南暫編第二師師長吳新田爲“主持湘南防務司令官”，於二十一日到衡州，與吳佩孚及湘軍代表簽訂條約，南北兩軍維持原有停戰界線，湘直兩軍停戰協定繼續有效。
直到吳佩孚所部撤防的前夕，北京政.府纔有電報批准直軍撤防。這樣也就使吳部的北歸，有了合法性。
吳佩孚所部開拔時作環狀隊形的佈置，主力居中，湘江兩岸各設掩護隊，前方設有偵察兵，後面設有殿卒。大軍揚帆而下，全軍齊唱吳所親撰的《登蓬萊閣歌》。
途中吳秀才詩興大發，寫下《回防途次》，詩曰：
行行重行行，曰歸復曰歸。
江南草木長，衆鳥亦飛飛。
憶昔赴戎機，長途雨雪霏。
整旅來湘浦，萬里振天威。
孰意輦轂下，妖孽亂京畿。
虺蛇思吞象，投鞭欲斷淝。
我今定歸期，天下一戎衣。
舳艫連千里，旌旗蔽四圍。
春滿瀟湘路，楊柳正依依。
和風送歸鳥，綠草映晴暉。
少年惜春華，勝日鬥芳菲。
來路作歸程，風景仍依稀。
周公徂東山，憂攙亦畏譏。
軍中名將老，江上昔人非。
建樹須及時，動靜宜見幾。
何日摧狂虜，發揚見國威。
不問個人瘦，惟期天下肥。
丈夫貴兼濟，功德乃巍巍。
江上送歸舟，風急不停揮。
得遂擊楫志，青史有光輝。
春日雁北向，萬里動芳徽。
鴻漸磐石願，衍衍不啼飢。
止戈以爲武，烽煙思郊圻。
同仇復同仇，歸願莫相違。
吳佩孚所部於二十七日由水路經過長沙。
張敬堯怕吳部舍舟登陸“戰長沙”，在湘江右翼配置了強大的兵力，但只作防禦準備。
而吳部根本無意上岸，雖亦作緊急戒備，不過是怕張軍襲擊而已。
雙方都很剋制，均未挑釁生事，吳部隨後揚帆而去。
吳佩孚所部於五月二十九日過嶽州，三十一日在漢口集中。
吳部北行，一舉一動都引來各方關注，其滯留漢口，久而不發，因之而謠言四起。
北京政.府以吳佩孚所部按兵武漢。引起各方猜忌爲名，促其儘快離開。並電曹錕，請他下令督促吳部速行。
吳佩孚本打算在武漢稍事休整，但迫於情勢不得不迅速開拔。派其參謀長赴汴與趙倜密商後，商定吳部暫駐信陽、許州、鄭州等處。
隨後於六月七日晚由武漢起程。八日抵鄭。
所部第一旅駐許昌，第二旅駐駐馬店，第三旅分駐順德、磁州，騎兵團駐黃河橋，步兵八團駐新鄉縣。
沿途旌旗滿目，帳幕相望，軍容整齊而士氣高漲。
吳佩孚所部北歸，直接的結果是直皖兩系短兵相接，段祺瑞早就已經認識到了問題的嚴重，他不能不有所應對。
早在一九二零年四月下旬，駐防陝西的奉軍許蘭洲部忽然移動到華陰、潼關、觀音堂一帶。這個行動使段祺瑞懷疑是奉軍有企圖移向河南，策應直軍北進。
五月十七日，段祺瑞曾在團河召集秘密會議，作了一系列的軍事佈置。
一面召回徐樹錚，並將全部西北邊防軍調回北京附近，一面決定自己出馬擔任川陝剿匪總司令，率領邊防軍一三兩師向陝西出發，討伐陝南民軍和川滇靖國軍。
爲了提防靳雲鵬在北京搗鬼，準備派其爲副司令或參謀長，令其隨軍出發。這其實是在“聲東擊西”，真正目的並不是向陝西出兵，而是準備進軍鄭州。其計劃是首先驅逐河南督軍趙倜，然後派軍防守京漢路南段，阻斷直軍的歸路。如果直軍打算強行通過，就地予以迎擊。
段祺瑞認爲在河南與直軍作戰，不但北京根據地不致受到戰火的威脅，而且山東、安徽兩省的皖系軍隊可以側擊直軍。
但是，當段帶兵出征陝西的消息傳到關外，張作霖立刻藉口邊防軍出動，北京防務空虛，要求准許奉軍入關“拱衛京師”。如果北京真的由奉軍拱衛，北京就變成張作霖的天下了，這便使得段祺瑞，被迫放棄這個想爭取主動的作戰計劃。
六月十三日，一直出語驚人的吳佩孚在鄭州發出一個爆炸性的電報，分致反皖的八省聯盟各督軍，內容是：反對安福系包辦上海和會，建議召開國民大會解決一切問題。
這個電報之所以具有爆炸性，是因爲這個建議不但遭致皖系的強烈反對，八省聯盟內部也是一片反對之聲。聯盟的領軍人物之一的張作霖爲此而大發脾氣，就連吳的上司曹錕也一個勁地搖頭。
北方反段的軍人雖然不滿意吳的狂妄，但考慮到直皖戰爭爆炸在即，吳是一個肯打硬仗的虎將，其軍隊又能征善戰，因此而對吳的過分言行，只好隱忍於心。
但是，吳這一通電得到南方各人民團體的熱烈歡迎。
吳佩孚將其主力佈置在河南，造成北方風雲突變。奉軍爲了暗中策應直軍，也零零星星地分爲三營五營開進關來，六月十日駐獨流鎮的奉軍四營，經過天津開往廊房。
曹錕也於六月十日派兵監視德州兵工廠，並以德州爲直軍右翼的前哨陣地。
六月十五日，吳佩孚偕同三個混成旅的旅長到了保定。同日，江蘇、奉天等省代表也都到保定，來參加曹錕所召集的軍事會議，這是一次秘密的，卻是極重要的軍事會議。
段祺瑞方面自然也積極佈置，他密令駐守濟南的邊防軍第二師師長馬良作好動員準備，俟機北向進攻德州，或者西向側擊鄭州。
爲了準備打仗，皖系積極籌措戰費，由安福系的交通總長曾毓雋，以京綏路爲抵押，向日本借款五百萬元作爲戰費。
在中國內爭上，日本是傾向皖系的，日本方面本來是願意幫這個忙的。只是這個時候，日本已不能像歐戰期間那樣，可以在亞洲尤其是中國爲所欲爲了。美英等已經聯合起來，在中國問題上採取強硬的立場，監視着日本的一舉一動。
由於美英兩國出面干涉，皖系以京綏路向日本押借五百萬元沒能如願。
這時候，皖系無論在外交上、財政上、或是作戰的戰略地位上，都處於十分不利的地位。
最大的致命傷是兩個，一個是主張武統，發動南北戰爭。在全國人心盼望和平統一的時候，內戰是不得人心的。一個是親日，當時全國人心都痛恨日本侵略，尤其在歐戰期間乘火打劫，企圖獨吞山東。國人對日如對過街老鼠，皖系的親日自是大失人心。
即便是在軍事佈置上，皖系也居於不利的地位。駐防洛陽的西北邊防軍，處於鄭州直軍與潼關奉軍之間。駐防信陽的皖軍吳光新部，也是處於河南、湖北兩省直軍夾擊態勢中。而在廊房的西北邊防軍，也在奉軍監視之下。
將領方面，張敬堯禍湘，馬良殘殺抗日的愛國分子，這兩個人是很不得人心。傅良佐、吳光新都非將才，倪嗣沖則在重病中，段芝貴不過是袁世凱的寵兒，善溜鬚拍馬而不堪大用。皖系的將領數來數去還是隻有徐樹錚像回事，段祺瑞在重要關頭更離不開小徐。
局勢一天比一天緊張。六月十六日曹錕電請解除川、粵、湘、贛四省經略使。
六月十七日徐樹錚由庫倫返抵北京，暫時放棄他“西北王”的事業。
吳佩孚雖然請張敬堯派軍接防，可實際上他是決定把衡陽移交給湘軍的。他和湘軍驍將趙恆惕已經是惺惺相惜的朋友，吳佩孚所部整裝離開之時，也就是湘軍進軍之日。
但是，當時的形勢對湘軍來說並不樂觀。
張敬堯是北洋勇將，軍隊已經擴充到七萬人。他自兼北軍第七師長，直屬的部隊則有湖南暫編第一第二兩師和第一混成旅。歸他節制指揮的還有協助長沙防務的第十一師（師長李奎元），駐防湘潭的第廿師（師長範國璋），駐防常德的第十六混成旅（旅長馮玉祥），駐防湘東的暫編第一師（師長張宗昌）和安武軍一部分。
衡州和寶慶是長沙的前方兩個據點，張敬堯派他手下的兩員大將，湖南暫編第一師長田樹勳守寶慶，兼長寶鎮守使，第二師長吳新田守衡州。
南軍方面，湘桂軍各據有郴永一隅之地，不過沅水上游的廣大地區則屬於湘西民軍勢力範圍，所以南軍佔領區的面積也不算小。
張敬堯（1881年—1933年5月7日），字勳臣，安徽省霍邱縣人。
幼年當過糧坊學徒，後流落山東，因犯殺人罪潛逃京津地區。一八九六年參加袁世凱的北洋新軍隨營學堂，結業後任排長。一九零六年入保定軍官學校第一期，畢業後一直在北洋軍中任職。一九一一年任第三鎮十一協二十二標標統。
辛亥革命爆發後，張敬堯率一營爲先遣隊開往武昌進行血腥鎮壓，因“殺敵驍勇”提升爲團長。
一九一三年二次革命期間，張敬堯率部從湖北進攻江西，鎮壓革命，又擢升旅長兼南昌衛戍區司令。一九一四年段祺瑞出任河南都督，張敬堯隨段祺瑞開往河南鎮壓白朗起義軍，因鎮壓起義“有功”，被升爲陸軍第七師師長，調駐北京。
一九一五年八月，張敬堯聯合北洋軍界四十四人召開軍警大會，鼓吹擁護袁世凱稱帝。護國戰爭爆發後，張敬堯被袁世凱任命爲第二路軍司令，晉升陸軍上將，率部進軍四川鎮壓護國運動。
一九一七年段祺瑞出任國務總理後，任命張敬堯爲蘇魯豫皖邊境督辦。南北戰爭北軍攻佔長沙後，又被任命爲湖南督軍。