臨安城外城沸沸揚揚的女子失蹤案隨着豐原布莊的全部落網宣告塵埃落定，而高懷遠的生活也再次歸於了平靜之中，這件事雖然鬧的很大，但是卻並未驚動史彌遠一黨，畢竟他們關心的事情還很多，像這樣的小事他們是無暇關注的。
雖然史書所記史彌遠乃是一個權奸，一生做過無數壞事，但是像他這樣一個人，能獨攬朝政如此多年，要說他是壞事做盡也不盡然，起碼這個人在用人和籠絡人心方面還是頗有一套手段的。
當年史彌遠和楊皇后密謀擊殺了韓侂冑之後，於是便立即爲曾經被韓侂冑打壓的理學一派平反，去僞學而啓用大批理學派人士，因此獲得了朝野理學一派的支持，並且對於一些有能力卻反對他人，他並未因一己之私便一味打壓，反倒會給予他們一些官職，以此獲得了一些好名聲，在拉攏和打壓之間，他做到了很好的平衡，特別是對於地方大員的任用上，他還是有些眼光的，雖然他是個徹頭徹尾的主和派，但是起碼趙方能在京西路主持抗金一事上，史彌遠便算是有功，爲南宋的偏安起到了一定的作用。
同時他豢養了一羣爲他效命的走狗，對於朝中可能對他有威脅的人進行攻擊排斥，並且控制了朝廷的言路，凡是對他不利的言談，很難傳入當今聖上的耳中，倒是那些不聽他的吩咐的人，他會着人以諫官的身份，進行攻訐和彈劾，將其罷免出局，十幾年間，朝中上下無人不仰其鼻息，故此眼下高懷遠想要以他這樣的身份扳倒史彌遠，是件絕對不可能完成的任務，所以高懷遠也不急於一時，而是趁着這個閒暇的時候，開始在城中廣交朋友。
在高懷遠所結交朋友的名單之中，高懷遠聽從了紀先成的建議，並未去刻意迎奉或者是結交朝中的一些重臣，而是將注意力放在了一般品級比較低的官員身上，之所以這麼做，一是因爲他的身份眼下並不高，去攀交大員顯然分量不足，輕者引不起人家的注意，重者還很可能會引起史彌遠的忌諱，所以要先從下層做起更爲穩妥一些。
而高懷遠也認爲這麼做乃是上策，所以對紀先成的建議言聽計從，對自己的言行很是注意，但是有一人例外，那就是外城侍衛步軍司的都指揮使方書達。
通過尋找柳兒一事，高懷遠投其所好，贈刀於方書達，使方書達甚喜，加上高懷遠事後又贈與方書達一份厚禮答謝，方書達所以對高懷遠印象相當不錯，後來得知高懷遠也是個使刀的高手，而且在軍前和金軍交戰屢立戰功，所以時不時的會請高懷遠到他府上，沒事的時候二人切磋一下刀法。
而高懷遠也投其所好，會展露一下他的伸手，對於方書達這個好武之人，正是合了他的脾胃，一來二去，二人便成了莫逆之交。
說來也巧，侍衛步軍司在年前的時候清理了一批軍中老弱病殘的兵卒，在年後正好需要增招一批兵員，充入侍衛步軍司做效用或者軍兵，高懷遠在和侍衛步軍司這幫朋友走動之間，得知了這個消息。
同時負責內城的殿前司那邊，也同時傳出了要補充兵員的消息，這對他來說，可以說是個難得的機會，從他到了臨安城之後，便一直琢磨着如何能在臨安城的軍隊系統裡面，塞入一些他的人手，沒想到這個機會來的居然如此之快。
於是高懷遠和紀先成、賈奇等人密議了一番之後，立即着令賈奇，通過各種關係將臥虎莊的一批大約百十人左右的精英青少年想辦法安插到內外兩軍之中，他的要求不高，花些錢只要能將這些人安插進去，做個效用就成，也先不圖他們能當上什麼官職，只要他們能進入這兩套軍隊系統之後，至於升遷問題，就好辦許多了，像眼下這兩軍之中的腐敗情況，只要捨得花錢，不出一年時間，這些人便能成爲軍官，對於這種預想，高懷遠是有十足的把握的。
所以在高懷遠調動京中各種暗中勢力運作此事之後，他事先選出的這些臥虎莊的青年，異常順利的便各自被選入了殿前司和侍衛親軍步軍司之中，而且都當上了效用。
宋軍歷來有在軍兵臉上或者手上刺字的惡習，絕大多數當兵的會在被招收入軍隊的時候，先在臉上或者手上刺字，以此來約束當兵的不能當逃兵，這種制度是起源於唐末藩鎮混亂階段，後來被宋朝所繼承，算是一種非常殘酷的制度，而且宋朝是中國歷史上少有的實行募兵制的朝代，軍中所招不少兵卒，不是流民就是流氓，要麼就是一些犯罪被充入軍中的罪犯，這種制度似乎是避免了當兵的當逃兵，但是卻使軍人的素質良莠不齊，軍隊嚴重缺乏戰鬥力，看似兵員不少，但是能打仗的或者甘心爲國效力的兵卒卻少之又少！而且軍人的社會地位也隨之變得十分低下，要麼動輒便會被人稱之爲賊配軍，這其實就是平民對軍隊的一種蔑視。
高懷遠當初無論如何都不肯入軍當兵，一個很重要的原因就是他不願意在自己臉上或者身上任何一個地方刺字，後來雖然他令黃嚴等人入軍爲將，但是當初黃嚴等人本來就是以鄉勇入伍，直接在孟珙手下效力，所以免去了刺字之苦。
而南宋兵制和北宋兵制有所不同，一些地方的募兵制也改爲了駐屯軍，而且軍中多有效用一職，充當戰士使用，但是身份地位卻要高於普通軍兵，不用再在身上明顯之處刺字，所以高懷遠即便讓他手下的人進入軍中，也要求不能以普通軍兵的身份入軍，而是要以效用或者使臣的身份入軍，免去他們要受刺字之苦。
這件事整體上進行的很順利，收了錢的那些司錄參軍自然不會收錢不辦事，對於高懷遠暗中安插的這些青年的安排，都相當不錯，大多都安排到了京城各處守軍之中當了使臣或者是效用。（有興趣的朋友可以查一下有關南宋兵制的問題！裡面對軍隊的使臣和效用以及軍兵會有比較詳細的介紹，這裡我就不費口舌了！）
如此一來，高懷遠其實又等於在殿前司和侍衛步軍司裡面安插入了百十名自己的眼線，對於臨安城的軍隊的情報掌握更爲準確快捷了許多，而且這些人被着令服從賈奇的管理，平時不許和高懷遠發生任何聯繫，即便是偶爾見面，也只當作不認識他。
用起來這些人，確實順手也放心，這些被高懷遠收養的孤兒們，經過周昊、周俊等人所教導之後，已經被徹底洗腦，他們可以不知道當今皇上是誰，卻只知道對高懷遠效死忠，所以根本不愁這些人會出賣他什麼。
在做這些事情的時候，高懷遠並未放鬆對於其他事情的安排和監控，通過他建立起來的情報網絡，每天他都能得知他勢力下的各種事務的進展情況。
對於商業上的事情，他基本上已經不太關注了，那種事情有黃真周毅等人爲他操作，基本上不用他再操心什麼，而且各處的生意爲他源源不斷的提供着巨大的財富支持，使他眼下已經根本不用爲花錢操心了。
所以他可以集中所有精力，放在有關他暗中儲備的軍事力量上面，而眼下他最關心的事情還是在山東一帶的付大全的情況，從他派出付大全帶人入山東做事開始，他便一直關注着付大全那邊的發展。
從揚州到臨安這幾個月之中，高懷遠除了在柳兒出事的幾天沒有關注這個事情之外，幾乎天天都要過問一下這個事情。
過了年之後，付大全那邊傳回來消息，經過付大全在莒南一帶的極力發展，現在他手下兵馬數量已經多大六七千人，大多都是在山東本地所徵召的難民，刨去那些老弱病殘之人，他將手下這數千人分爲了兩軍，其中一支兩千人的飛虎軍被他作爲精銳編成，全部選驍勇青壯之士入軍，並且大力進行整訓，將以前他所學的練兵之法盡數用於這支軍隊的訓練上面，而且又以弓弩手爲此軍骨幹，組成了一支能征善戰的驍勇之師，在莒縣周邊無人敢正迎其鋒，金國多次派兵試圖剿滅付大全，但是卻都敗在了他的飛虎軍手中。
而剩下的那些相對比較弱的兵卒，則被付大全變爲了鎮守軍和將作軍，鎮守軍主要負責他所佔轄地之內的鄉鎮的駐防，雖然戰鬥力比飛虎軍弱小一些，但是駐守城池倒也堪用，至於將作軍則是一支由各種工匠所編成的輔助軍，大致不足一千人左右，主要負責修葺他所佔的鄉鎮城池的城牆寨牆，同時負責修造他軍隊所需的武器，爲此張天健乾脆將善於制弓的秦虎暗中送到了付大全那裡，讓他充作付大全將作軍的統領，專門組織工匠負責各種武器督造的事情，連帶還從鐵作的周伯通手下調去了幾個鐵匠，配合秦虎做事。