會盟結束之後，唐儉與酋長們一一告別。這個時候的突利可汗的想法發生了微妙的變化，如果大唐天佐是草原上的大可汗，突利仍然是二可汗，而大唐天子遠在中原，這是不是意味着草原上實際的主人就是他突利呢？他越想越覺得興奮，在這種狀況下，他也就不希望頡利東山再起了。但許多時候，人越想怎麼樣，實際上就越不可能怎麼樣。無論突利可汗多麼努力的想把頡利找到立功，可這個傢伙就像是鑽到了地底下。幾乎翻遍了整個草原大漠以及叢林，都沒有頡利的蹤影。唐儉臨行之前對大家說：“務必要在草青馬肥之前將頡利找到，如果你們一直不能找到頡利，諸位將軍的功勞就會被自己所犯下的過錯吞噬。”李靖說：“請你放心，我一定把差事辦妥，絕不會讓皇上失望。”唐儉滿意的走了，因爲他相信李靖一定能夠找到頡利，從大漠返回的路上，唐儉的心情逐漸從豪邁變成了惶恐。
等他終於到了長安城的腳下，他想到自己一生最風光的時間已經過去了。也許是時候應該收斂鋒芒，夾着尾巴過日子了。於是在向皇帝覆命之後，連續多日託病沒有去跟皇帝下棋。與唐儉下棋每次都輸，這就是皇上一直要跟他下棋的原因。因爲他相信總有一天自己可以贏唐儉一回。於是在唐儉自稱已經病癒之後，終於在一天中午贏了唐儉。唐儉將棋子放下，跪在皇上的面前說：“恭喜皇上，終於把臣贏了，臣的棋力已經不如皇上了。”以往唐儉在跟皇上下棋的時候，從來不掩飾自己的得意。現如今他的身上再難看到那種意氣風發的感覺，皇上說：“這一次你從漠北迴來，朕感覺你就像是變了一個人，你說朕是應該爲你感到高興呢？還是應該爲你感到遺憾呢？”唐儉說：“皇上，皇上鑽研棋藝，日進千里，就算超過程也並不讓人感到意外。”皇上說：“你知道你在說什麼嗎？你這分明就是欺君。”
一聽這話下了唐儉趕緊跪倒在地，唐儉的反應把皇上反而嚇了一跳。以往唐儉每次來都是一副大大咧咧的樣子，無論皇上如何暗示他，他似乎都不往心裡去。皇上心中十分不解，說：“告訴朕到底發生了什麼，你爲什麼變成了這個樣子？”唐儉說：“回皇上的話，在狼居胥山主持會盟儀式，說明臣一生最風光的時候已經過了，《易經》早就教導過我們了，現在已經過了耕種的季節，所以不宜再做加法，而要做減法了。”對於手底下的大臣動這種小心思，皇上是非常反感的。於是說：“你不是喜歡做減法了，那就把你的冠帶留下，回去做個平民吧！”唐儉一臉平和的將冠帶摘了下來，然後站起來向皇上告別，說：“這幾年人幾乎將皇宮當成自己家，如今臣變成了百姓，以後再想見到皇上就比登天還難了，願我們各自珍重，願天下太平，願百姓逃生記不再艱難。”然後一步步退了出去。
對眼前的變化，皇上沒有心理準備，所以望着唐儉離去的背影皇上一直不敢相信這是真實發生的事情。他腦袋裡亂的像是一團漿糊，淚珠像是斷線的珠子一樣，不停的滾出眼眶。回到後宮，皇后看皇上這副光景，於是說：“皇上這是怎麼了？”皇上說：“朕免了唐儉的官職，讓他回去做百姓了。”皇后笑着說：“你把唐儉的官職免了，將來誰跟你下棋呢？”皇上說：“朕已經在棋盤上勝過他了。”皇后說：“這件事恐怕沒這麼簡單，自從他與你下棋，就從來沒有失過手，爲什麼會突然輸給你呢？”皇上說：“難道朕的情誼就不能進步嗎？”皇后說：“皇上曾經常年爭戰，對於這樣的道理，應該不難明白，一個人如果實力不濟，遇到天才永遠沒有機會。”皇上說：“你把他比作天才，把朕比作蠢才。”
皇后說：“皇上可曾記得做工的匠人是如何評價你們幾張弓的嗎？尺有所短、寸有所長。一個人如果能夠成爲一名聖君，就不可能在棋藝或者什麼別的領域有大成，反過來一位聖君，絕不可能花費大部分的精力去鑽研於一藝。因爲只要那麼一干，就荒廢了天子應該做的事。”皇上說：“那好吧！就算你說的對。”唐儉在返京之後迅速的被削去了官職，這件事給漠北的人帶來極大的震撼。他們都以爲在這次會盟當中，唐儉的表現可圈可點。李世勣說：“這件事我真的如傳聞中所說的那樣嗎？因爲唐儉輸了棋，皇上覺得他們不用，就免了他所有的官職？”李靖捋着鬍鬚說：“把這件事忘了吧！”李世勣說：“讓我不議論這件事很容易，我是擔心他給大漠的人帶來不好的影響，會不會覺得皇上這個人不可信，會不會因此而想起來那個反覆無常的頡利可汗。”
說到這裡，李靖也沉默了。空氣似乎也一下子凝固了，過了很久，李靖終於說：“放心吧！其實有什麼不好的影響，我們也能夠應對，就算是我們的應對，出了什麼問題，政事堂的人一定會有辦法化解即將出現的危機。”果然如同李世勣所預料的那樣，大漠一時間人心惶惶。突利可汗說：“制史回去之後迅速的被免去了官職，真的是傳聞中所說的原因嗎？”底下一位幕僚說：“可汗，我覺得事情不會想我們所以爲的那樣，制史去職完全是他自己的緣故，並非皇上在爲難他。”從前在離開長安之前，悄悄的去拜會了孫思邈。午夜時分，館驛的一間上房之內，唐儉與孫思邈一邊品茶一邊聊天，唐儉說：“外人很難想象我與孫師父竟然有交情，外人都以爲我是個弄臣，靠着下棋接近皇上，騙取功名，現如今我把這些東西都還給了皇上，你說天下人還會議論我嗎？”孫思邈說：“許多東西的取捨不取決於你自己而取決於天命。”
唐儉說：“我之所以這麼說，就是爲了順應天命。”孫思邈說：“天道與人道不同，天道是萬物總綱，是萬物運行之原力。而人是萬物之一，處於萬物之中，受萬物影響，卻不能等同於萬物。天道是恆定的，沒有增加，也沒有減少，而人道則不然，時刻都有分離聚合，時刻都有生老病死。所以人生在世，必定要求富貴求功名。”聽到這話從孫思邈的口中說出來，實在是讓唐儉感到有些詫異，孫思邈說：“和尚和道士都是修行之人，這就好比道觀和寺廟都是供奉神仙和佛菩薩的地方，可不同的道觀和寺廟貧富也不同。道觀和寺廟都有貧富之分，都有等級之序，又怎麼能指望所謂修行之人不受貧富和等級的影響呢？人若想超脫人道歸於天道，只有一種辦法，就是化作青煙、駕鶴西去。”
唐儉說：“天道是統御人道的，這種沒有問題吧！”孫思邈說：“在天道之中，九州不過是一粒灰塵，人生在世不過是一個瞬間而已。他們看起來是如此的渺小，如此的不起眼。而人道則不仁，每個生命的誕生和消失都是大事。”唐儉說：“人道難道不是從天道而來嗎？”孫思邈說：“老子說過，人法地，地法天，天法道，道法自然。由此可見天比地要大，地比人要大。天是全局，地是一域。相比於人地又是全局，而人是一域。”唐儉拱手說：“沒想到你這個老道說的話跟我以爲你會說的話完全不同。”孫思邈說：“不過你能懂得盛極而衰的道理，這很好。鮮花總有敗的一天，青草總有枯的一天。你能夠急流勇退、明哲保身，說明你是一個非常聰明的人。只不過一個很聰明的人往往也很難壓抑自己內心的需求，有於需求有時候就是煮在鍋裡的沸水，經常把鍋蓋掀掉，然後溢出去害人害己。”
唐儉說：“如此看來你不是很看好我日後的生活。”孫思邈嘆口氣說：“攤開一張白紙，如果上面點上一個墨點，所有人注意的就不是白紙，而是墨點。其實生活中人也是這樣的，你所注意到的永遠是那麼一點，而大片的空白被你忽視掉了。當有一天幾乎滿紙都是黑色的時候，殘存的那麼一點，留白又成了你夢魂縈繞的所在。於是你就發現人經常處於輪迴之中，當他寂寞的時候，熱鬧就在世界的另一頭朝他招手。當他各種熱鬧恭維的時候，卻又與彼岸的寂寞互相拋媚眼。我之所以要說這些，就是要告訴你，現實與你的想象永遠有一段距離，至少有50%的差距。”唐儉耷拉着腦袋，一下子陷入了巨大的迷茫之中。孫思邈進一步說：“有迷惑不要緊，回去之後可以慢慢想，只是你要提醒自己，有些東西一旦做了就不能再回頭，否則就是給自己招禍。”
沒過多久，唐儉便帶着行李和家人離開了長安，回到了自己的老家，過起了平淡的生活。孫思邈仍然要滯留在長安，他希望能夠盡最大的努力，挽回杜如晦的生命。這一日清晨，杜家又派人來請他，他帶着藥箱來到了杜如晦的府上，看見杜如晦躺在病榻之上，整個人看起來顯得非常憔悴。他把手搭在杜如晦的手腕上，微微的閉上雙眼，片刻之後又睜開，說：“不要待在長安了，回老家吧！”一聽這話，杜公子就急了，說：“你這老兒好生可惡，知道自己在說什麼嗎？你想毀了我杜家的富貴？”孫思邈說：“我只是覺得長安是爭名逐利的地方，這裡實在不宜養病。”杜如晦強撐着做起來說：“你的意思我明白，但你也說過，病可以醫，命是醫不了的。”
孫思邈說：“如果你能夠回自己的老家，放下所有對功名的想法，我可以保證再給你十年的壽命，要是情況足夠理想的話，或許不止10年。”杜如晦說：“我現在頭腦昏昏，精神不振，有什麼辦法可以暫時化解這個問題嗎？”孫思邈說：“沒有辦法。”杜如晦抓住孫思邈的手腕說：“孫師父，你一定有辦法的。”孫思邈說：“或許我可以用鍼灸的辦法幫助你提振精神，但是這會大的傷你的元氣，所以我不會這麼做。”杜如晦說：“我想爲朝廷盡最後一份力，把我心中醞釀已久的改良軍制的方略寫出來常送給皇上，如果這個方略能夠實行的話，可以讓百姓賦稅減少大辦，從而確保在未來數年之內，大唐將重現往日的繁榮。”孫思邈說：“隋朝的繁榮是驢糞蛋面子光。”杜如晦說：“你就幫幫我吧！我在這裡提前感謝你了。”說着他又讓杜公子跪在孫思邈的面前，孫思邈因爲實在拗不過，只好答應了。
不過輕輕的用了幾針，杜如晦就感覺自己頭腦清楚，心如明鏡，雙臂充滿力量。孫思邈提醒他說：“請記住，只能維持兩個時辰。如果兩個時辰還沒有完，我就無能爲力了。”杜如晦斜靠在病榻之上口述，杜公子提筆謄錄，沒過多一會兒就寫完了。之後又經過反覆斟酌修改，終於在兩個時辰快要結束的時候形成了定稿。杜如晦躺在那裡奄奄一息，孫思邈說：“要記住，一天之後再給他進食，宜少不宜多。”杜公子說：“一天不吃飯，還不把人餓壞了，怎麼還宜少不宜多？”孫思邈說：“我之前說過了，因爲我給他用了針，以至於他元氣外泄，元氣是支持五臟六腑運行的原力，元氣的衰減，意味着腸胃消化之力跟着衰竭，所以新陳代謝之速度會大大減慢，要是吃的多了，雜物就會儲存在體內，無法排出，或雜物越積累越多，羸弱之身，而體內有淤積着大量的糞便，沒有比這個更兇險的了。”
不久之後，皇上在大內看到了那一份方略。頓時驚得目瞪口呆，趕緊到府上來看望，杜如晦說：“臣知道自己來日無多了，所以提前把方略逞上來以備將來之用。”皇上說：“你說要改軍制，爲何要這麼做？”杜如晦說：“貞觀朝伊始，我們就修訂武德律，革新官制，爲的是減輕百姓的負擔，讓天下更容易治理。其實官制所呈現出來的弊病在軍中也非常的普遍。所以軍制如果不改，皇上的宏願就不能實現。”皇上說：“難爲你想的這麼周到？有你在朕也沒有什麼可擔心的了。”從杜如晦的府上回去之後，皇上立刻把房喬宣進大內，說：“杜如晦病成那個樣子，還在想着改變軍制，而你一天到晚在想什麼呢？我看你就是一個尸位素餐的布偶宰相。”
房喬說：“改變軍制的事情，臣很早就與杜公商量過了，都覺得非改不可，只是眼下戰事還沒有結束，如果在這個時候釋放出這樣的消息，前線的將士們會怎麼想呢？”皇上說：“我說讓你馬上改了嗎？我是說你爲什麼從來沒有跟我提起過這件事？”房喬說：“關於這件事我們的想法也是隻言片語似的，並不知道具體應該如何做，把一個原本不成熟的想法報告給皇上，只是讓皇上徒增煩惱而已。”皇上說：“你知道嗎？你這是欺君。”一聽這話房喬嚇得跪在地上瑟瑟發抖，因爲抖的太厲害，所以沒有辦法說出一句完整的話。聽說了左僕射右被訓斥了，馬周在當天晚上前去慰問，結果房喬選擇避而不見。生怕皇上以爲他們是一夥人，從而連累馬周。馬周當然明白房喬的這一番心意，於是在房喬家的門口深深的鞠了一躬，然後離開了。不久之後皇上聽說了這件事，說：“看來房喬在朝中雖不是一呼百應，但也差不多了。”
不久之後，皇上又拿這件事情諮詢長孫無忌，對方說：“秦府之中的人大多數都是有房先生居間的，所以朝中大多數人都是他的故人。”皇上說：“這麼說他真的已經搭建起了自己的秘密班子。”對方說：“這個有點言過其實了。”皇上說：“真有心解僱房喬，你覺得如何？”長孫無忌說：“我知道皇上的心思，可你也知道，皇后不支持我輔政，其實他這麼想是正常的。畢竟漢朝的衰落跟外戚有着密不可分的關係，她不想讓大唐重蹈覆轍。”皇上笑着說：“我相信全天下的人都反了，唯獨你不會反朕，我們彼此相處這麼多年了知根知底，這樣怎麼能使別人能比得了的呢？”說這話的時候，皇上不經意間我說服了自己，而想要回到後宮說服皇后。因爲皇后在反對長孫無忌輔政這件事情上態度非常的堅決，甚至多次跟皇上吵了起來。這種情形，在一貫溫良的皇后身上是極難見到的。
回到後宮，皇上耐着性子說：“這個房喬實在是太不像話了，他早就已經跟杜如晦在討論改軍制的事情了，卻從來沒有對朕提起過，實在是可惡，你說朕應不應該罷了他的官。”皇后輕描淡寫的說：“人家沒有告訴你，自然有不告訴的道理，皇上又何必着急呢？反正這些事情沒有辦法，再不通過你的情況下讓它付諸實施。”皇上說：“你爲什麼這麼護着他？爲什麼你對自己的哥哥如此冷淡呢？爲什麼你寧願相信房喬，而不願意相信自己的哥哥呢？”皇后說：“皇宮是經天緯地的棟樑之材，皇上能有今日離不開皇宮的謀略，皇上不應該用人唯親。”皇后把話說的這麼直接，毫不掩飾自己對房喬的欣賞，這件事讓皇上既沒有辦法理解，卻又不得不按照皇后的意思辦。
不久之後，皇后在後宮支持房喬的事情又一次傳開了。大多數人都覺得當今皇后真的是一位賢后，而在長孫無忌的家裡，對這位皇后充滿了抱怨。在長孫無忌表現的非常剋制，說：“你們都給我閉嘴，你們的抱怨越多，越證明我想幹政，再說皇后那麼說也自有他的道理，畢竟從漢朝到現在那麼多的外戚不是都倒了嗎？”一位小妾說：“隋朝皇室不就是北周的外戚嗎？”一聽這話長孫無忌，緊張的冒出一身冷汗，說：“你要再胡說八道，我就讓人割了你的舌頭。”按說這個時候的房喬應該感受到一股春天般的溫暖，然而事實上卻不是那麼回事。房喬的夫人盧氏，出自范陽盧氏，北方著名的名門大姓。這個女人張着自己的門第很高，所以表現的格外強勢。在他看來，如果房喬一定需要一個人保護的話，那一定是她們老孃，而不是高高在上的皇后。好在皇后之前已經保護過魏徵了，所以盧氏也沒有嫉妒的太厲害。
這件事讓房喬很受傷，自然也就萌生了隱退之意。於是在接下來的一段時間，他開始給底下的人交代後面的事情該如何處置。等他認爲把這一系列的事情都處理妥當之後，便正式向皇上提出請辭之意，皇上臉色鐵青，說：“你這個人實在是太可惡了，你還得振德皇后公開個朕對着幹，現在連你自己都跳出來了。”房喬拱手說：“皇上說的沒錯，臣的德行原本不足以擔當此大任，現在請求去職，臣想回自己的老家在母親的膝下盡孝。”皇上說：“杜公說要改軍制，你卻想着要溜掉，兩個人相比爲什麼反差這麼大呢？”不出所料，房喬的請求被駁回了。不久之後，皇后派人安慰房喬，說：“房先生是朝廷的棟樑，若是棟樑被撤走，貞觀朝就要塌了，請你務必留在朝中，本宮在一日便要保你一日，希望你能夠用心而辦差，不想其它。”又一次下朝，皇上回到後宮，倆人見面都顯得有些尷尬。