誰知道他到了潼關宣佈要接掌兵權之事，潼關上的守將李嶽、趙開卻道：“已領李觀察將令，不敢交出兵權。”
吳玠大驚道：“李觀察已到潼關了？”
趙開道：“李觀察昨日已到潼關，交代下軍務後又往陝縣去了。吳大人若要過去，我們卻可放行。”
原來李彥仙在晉西南一帶根基頗深，在河東各地也是人脈甚廣，潛出張浚大營後直接向東渡河，在當地士紳豪傑的幫助下過風陵渡直入潼關，所以不但逃過了吳璘的追擊，而且比吳玠還快了半天。
吳玠沉吟片刻，說道：“如今我奉張宣撫令諭接掌陝州各處兵權防務，兩位若能聽我節制，仍任原職。望兩位以天下社稷爲重，莫爲李觀察之私恩而負朝廷大義。”
李嶽道：“朝廷大義？暗助金人，斷送漢家在燕雲的數十萬大軍，也是朝廷大義麼？”
吳玠聞言變色，趙開對李嶽道：“李兄，不可無禮。”又對吳玠道：“昨夜李觀察已有交待，若是張宣撫大軍前來，我等便閉門不出，若是張宣撫遣人前來，卻可放過去。吳將軍若要接掌陝州兵權，何不先去陝縣見李觀察？等李觀察交出兵權，我等自會聽將軍節制。”
吳玠大聲道：“兩位真要以私廢公麼？”
李嶽哼了一聲道：“吳將軍，您是陝西人，我可是山東人！張宣撫斷送了齊魯趙豫數十萬條性命，我老家的鄉親可都在望西指罵呢！當初我們在李觀察率領下孤城抗金，雖然生死朝夕不保，但個個奮勇自豪，心想便是死在這裡也無愧於天地祖宗。但現在一想起山東父老指着我們的脊樑骨罵我便坐臥不安——吳將軍，我是個粗人，現在還真弄不懂你說的公私究竟是什麼！”
吳玠聞言黯然，趙開也道：“總之請吳將軍去陝縣吧，等吳將軍說服了李觀察，我們自然交出兵權防務。”
吳玠自知說不動他們，帶了從人便往陝縣來，過函谷關舊址後便見陝縣處處有備戰的跡象，進了陝州州城，李彥仙早已接管全州大小事務，聽說吳玠來親自接入州衙，問道：“晉卿，張宣撫派你來，是要來取我首級麼？”
吳玠卻反問道：“李觀察，難道你真要背叛朝廷，投靠漢部麼？”
“投靠漢部，我原無此意。”李彥仙道：“但現在朝廷之舉措，卻委實令人失望！從今日起，我願爲華夏守土，以待真天子之出世。”
吳玠作色道：“真天子正在江南！”
李彥仙道：“江南也罷，東北也罷，將來誰能興漢滅胡，便是真天子。在此之前李彥仙當爲陝州守土，漢人來任過，胡人來免談！”
吳玠道：“若種彥崧要從陝州過，借道潼關，你也放他過去？”
李彥仙道：“若張宣撫有飲馬燕山之志，要取道潼關去攻燕雲，潼關的大門也會爲他敞開。”
吳玠喝道：“李觀察，爲人臣子的本分你都忘了麼？”
李彥仙嘆道：“晉卿，我這麼做，實非本願啊！罷罷罷……”他取了利劍，劍鋒出鞘，劍柄朝外對吳玠道：“晉卿若認爲李彥仙當誅，便殺了我去向張浚覆命吧。”
吳玠臉色沉重，手按劍柄，眼皮不住地跳，過了好久，終於將劍一推推入劍鞘道：“朝廷畢竟是朝廷，張宣撫於我又有知遇之恩，不能不報……保重！”說完最後一句話便轉身上馬而去。
不久種彥崧領了五千兵馬渡河進入陝州境內，李彥仙並未阻擊，但種彥崧兵馬來到陝州城外時他又閉門不出，只派人來道：“願種將軍念令祖厚德，勿擾秦川百姓。”又送來糧草若干、書信一封，那書信卻是給陝州沿途官吏父老的，通令他們放行勿作抵抗。
種彥崧問隨軍文臣鄧肅道：“此是何意？”
鄧肅道：“我揣摩李彥仙之心實不忍叛宋，卻又不甘淪爲助胡滅漢之罪人，故而如此。”
若楊應麒、蕭鐵奴到此反而要多幾番疑慮，但種彥崧是個坦蕩的人，對此亦不懷疑，領了兵馬向西而來，兵不血刃便過了潼關，進入渭南地界，屯於關西鎮，因其兵馬過處秋毫不犯，臨近父老聽又聽說是種少保孫子來，有許多都牽了牛羊端了酒水前來犒軍。鄧肅命隨軍商人盡數收下，按值給錢，陝民大悅，奔相走告，沒幾日整個渭南都知道了。
華陰令閉門不出，種彥崧命人傳書入內，大意雲：我本秦洛子弟，此來非爲擾民，但來問張浚因何故通金襲漢，城內軍民若還有幾分血性，便當出城爲我助威，若怕趙氏僞朝廷責罰亦可守城自保，只要爾等不襲我後，我軍誓不相犯。
華陰令仍然閉門，但城內守軍聽到消息，連夜將他綁了，第二日出城押到種彥崧軍中。種彥崧對那華陰令道：“人各有志，你雖不識時務，亦無死罪。”便命人將他逐出境去。
華陰守軍便請種彥崧入城，種彥崧卻堅持不進城，只派了商人入城買賣物資。鄧肅領了幾個文官進城召集父老，推出一個在當地德望高重的士紳來暫領華陰令之職。渭南百姓聞訊無不心悅誠服，不少豪傑不遠數十里前來投靠，華陰當地的駐軍也自請編入種彥崧麾下。種彥崧去蕪存菁，選了兩千人，打入原來的行伍當中，略加整頓後便朝張浚所在的馮翊緩緩逼來。
李彥仙本來還心懷不安，怕種彥崧入關後會掀起一場血雨腥風，待聽說了種、鄧二人在渭南的作爲後大爲歎服，對通判趙叔憑道：“其軍容軍德如此，怪不得山東兩河的軍民都願歸漢！”
趙叔憑本是趙氏宗室，這時卻勸李彥仙道：“觀察雖不忍背宋，但今日我等已負背宋之名，建康朝廷也斷難再容我等。今日漢軍既然有德，何不明白歸附？若首鼠兩端，恐非英斷。”
李彥仙以問屬官，職官劉效、馮經，縣令張玘，將佐盧亨、邵雲等都以趙叔憑所言爲是。李彥仙這才下定決心，遣使告知曹廣弼願爲他屏障晉西南，這時金軍已經開始進攻太原，曹廣弼在圍城中得到這個消息爲之振奮，馬上傳令，將河東府到解州的軍政大權都交給李彥仙處理，又許他在潼關、洛陽之間便宜行事。
李彥仙見曹廣弼如此信任，便將最後一絲疑慮也掃去了，一邊組織兵力窺視洛陽，一邊籌集糧草供給種彥崧。汾河河谷諸州縣聽說李彥仙加盟人心大定，便是一些牆頭草也再不敢異動，晉、汾一帶遂成爲太原府、太行山兩道抗金戰線的穩定後方。