之前在衆人的心目當中，李靖是一個能文能武的人物。按照大家的想象，在擔任尚書右僕射之後。他一定會有新官上任三把火的動作，甚至有可能通過打擊尚書左僕射房喬爲自己立威。然而他的表現是如此的出乎意料，如此的低調。以至於衆人都有了輕視他的想法，認爲他不過是一個武夫而已，並不懂得如何治國。皇上聽說之後也感到非常的意外，於是將李靖請到皇宮，說：“朕聽說你在政事堂會議很少發言，偶爾發言也顯得非常的低調，人們幾乎沒有聽到過你對於如何治理天下的想法。”李靖說：“陛下覺得若論治國之術，我與房喬誰更高明？”皇上笑着說：“原諒朕說實話，當然是房先生更高明。”李靖說：“所以是臣說出自己的想法，對大唐更加有力，還是支持房先生的想法對大唐更有利的。當年曹參接替蕭何作了大漢的丞相，並沒有將蕭何當年的做法推倒重來，而是選擇按部就班蕭規曹隨。”
皇上說：“你是如何支持房先生的主張呢？”李靖說：“放棄自己的想法，將房先生的想法落到實處。”皇上聽了表情有點不大，自然卻也沒有辦法反駁。之後皇上又與長孫無忌討論起了這件事，長孫無忌笑着說：“曾以爲李靖在這件事情上沒有做錯，問題的關鍵是皇上如何看待自己的這一次任命。如果皇上想的是利用李靖來制約房喬，很顯然這是沒有如願的。如果皇上的任命是協助房喬實現自己的主張，那麼這樣的任命是非常高明的。”皇上說：“你這麼說朕竟然無言以對。”長孫無忌說：“畢竟如果真的被用來制約房喬，就等於他在皇上的默許之下拉幫結派。然後朝中就會出現兩股力量，彼此之間排斥異己。大家在討論如何治理天下的時候，往往不問是非，只問利弊。”皇上說：“你支持李靖？”長孫無忌說：“疑人不用用人不疑，皇上如果真的不放心房先生，那就乾脆將他免職。”
皇上露出一臉苦笑，搖搖頭說：“這麼做不可以，皇后那一關就過不去。你這個妹妹真是讓人不知道說什麼好，她總說自己不幹政，可每到關鍵時候，她總要插一腳。”長孫無忌說：“在皇后的心中，連我都是對大唐社稷有威脅的人物，可見在他的心中只有你只有大唐……”一聽這話，皇上趕緊說：“你一定是誤會她了，其實她還是非常照顧你們長孫家的人。”看見皇上在維護皇后，長孫無忌說：“我也並沒有怨恨她，做哥哥的誰會跟她那麼計較呢？”皇上說：“你能支持房喬，說明你們兄妹都是胸懷大義之人，有你們在朕的周圍朕還有什麼可憂慮的呢？”對於各種場合李靖的表現也很讓房喬感到困惑，於是在私下裡房喬說：“我有什麼做的不妥的地方，你不妨直言，要不然就會有人說我在朝中專橫跋扈了。”李靖笑着說：“有長孫無忌在，你能專橫的起來嗎？”
李靖的話讓房喬大感意外，隨着時光不斷的後延，李靖擔任上尚書右僕射之後的大體風格逐漸抵定。衆人也逐漸明白了他的用心，不僅是在政事堂，就是在御前，李靖也很少說話。房喬壓低聲音說：“李衛公如此收斂鋒芒，應該是擔心鋒芒太露反而對自己不利吧！”李靖苦笑着說：“我知道你的處境非常的危險，一不小心就會觸怒龍顏，我的處境又何嘗不是如此呢？在戰場上所向披靡，在朝堂上有咄咄逼人，皇上會想起誰呢？他會想起王莽，他會想起曹操。如果真的是那樣，我的這顆腦袋也就要搬家了。”房喬笑着說：“放心吧！我可以打賭，往後你會有接近二十年的富貴。”李靖說：“你替我卜過卦。”房喬笑着說：“不才自幼鑽星象研易學，十數年有所成。”李靖說：“要是真的如房先生所言，那我真的就特別感謝了。”
所有的人都能夠看得出來，李靖與房喬兩個人似乎非常的投緣。有一次皇上與房喬討論起了李靖這個人，說：“房先生覺得李靖這個人如何？作爲右僕射與杜公相比如何？”房喬拱手說：“杜公與李衛公都非常的有武略，只不過杜公只適合決斷於帷帳之下，而李衛公則能夠馳騁疆場，縱橫與兩陣之間。”皇上說：“如此說來，李衛公擔任尚書右僕射是不稱職的了。”房喬趕緊說：“杜公舉薦李衛公，自然有他的道理。”這個時候皇上的臉上洋溢着燦爛的笑容，說：“他之所以這麼做，很可能就是爲了幫助你，讓你在他離開人世之後，仍然可以按照自己的主張謀劃天下大事。”房喬說：“杜公與臣之間的交情，天下皆知，要說他的謀劃，從來沒有考慮到臣，這樣的話是沒有人相信的，但要說他謀劃這一切，完全是因爲臣而沒有考慮到天下的大利，這也不是事實。”
皇上一邊聽一邊點頭，房喬繼續說：“更何況杜公的謀劃都在皇上的眼皮子底下，就算是他要吐利於臣，臣又如何能拿得到呢？”皇上說：“這話可就真的說錯了，自從李靖擔任尚書右僕射以來，你的日子不是好過多了嗎？”房喬說：“皇上的難處，臣自然是知道的，但臣也想問皇上一句，臣下如果越來越難做，難道對皇上是越來越有利嗎？更何況身爲天子，天子無私，計較一人一家的利益，而不惜損害天下的大利，這肯定不是陛下所願意做的。”房喬把話說的如此直接，皇上非但沒有生氣，反而笑着說：“房先生不要多想，朕願意與房先生做一個千古君臣，希望我們有情有義有始有終。”房喬聽了這話非常的激動，心中卻隱藏着些許不安，因爲老子教導人們要功成身退，所以按照他的想法，在貞觀四年的時候就應該離開朝廷。他從不敢奢望自己與皇上之間的信任能一直延續到最後。
房喬熟悉占卜，所以他早就推測到未來會有不好的事情發生在房家。但這個不好的事情，具體會以什麼樣的形式降臨房家，他卻沒有辦法推測出來。當時房喬在朝中，威望極高。但是正因爲如此，很多人都意識到這其中的機會，人臣如果威望很高，特別是這個人的聲望，已經到了婦孺皆知的地步。皇上就會動猜忌之心。上古的時候，帝堯之所以能接替自己的哥哥成爲統領天下百姓的天子。就是因爲在當時天子無子的同時，帝堯的賢德之名流佈四方，以至於人人皆知。如果不是帝舜有賢德之名，丹珠又怎麼會喪失繼承大位的機會呢？大禹如果不是立下大功，且有賢德之名，他也沒有機會讓商均沒辦法繼承他父親留下的基業。房喬身爲相國，就連李靖這樣的武將都對他畢恭畢敬，其他人就更不要說了。
好在房喬這個人爲人低調，處事謹慎。所以即使別人要找他的毛病，也非常的困難。又是一個夜晚，房喬坐在院子裡一邊踱步，一邊想着當時天下的大事。月光從頭頂上灑落下來，地上像是鋪了一層霜。就在這個時候，身後有一個人走過來拱手說：“房先生，林邑王送來了火珠，你看要不要獻上去呢？”房喬一回頭，那個人不是別人，正是馬周，說：“這其中有什麼不妥的地方嗎？”馬周說：“不妥的地方就是他送上來的這一篇奏疏，言語之間顯得非常的狂妄。”房喬說：“你覺得應該獻上去嗎？”馬周說：“我是這樣認爲的，雖說這一篇奏疏文辭上不是很恭敬，我們仍舊不應該有所隱瞞，皇上有權力知道實情。”房喬說：“你說的太對了，就這麼辦吧！”明日房喬帶着這一篇奏書和火珠來見皇帝，打開裝着火出的盒子，那的確是非常漂亮的一顆珠子。
之後又閱讀了那一篇奏疏，皇上眉頭皺了一會兒，又舒展開了，淡淡的說：“這件事還是在政事堂討論一下吧！”房喬說：“臣也是這麼想的，只不過是先讓陛下知道這件事，然後我們再去討論該如何加以應對。”皇上點點頭說：“這麼做非常妥當。”之後他們帶着奏書和火燭來到了政事堂，通知當時參知機務的大臣一起來討論。衆人來了之後，房喬說：“你們來看看吧！林邑王遣人送來的火珠和奏疏。”侯君集在看了奏疏之後立刻氣得瞪圓了雙眼，說：“林邑不過是彈丸之地，卻敢在奏疏之中言辭如此的狂妄，房先生，應該奏明皇上，讓他給我一支兵馬，我替皇上滅其國絕其苗裔。”房喬說：“其他人也是這麼想的嗎？”李靖皺着眉頭說：“林邑距離中原十分遙遠，他們狂妄對於我們來說有何嘗不是一件好事，我們不予理會就是了。”房喬說：“遠國狂妄，爲什麼對於我們就是一件好事呢？”
李靖說：“天下之妄人，往往看不清別人的輕重，也不知道自己的斤量。這樣的人是成不了大事的，這樣的國度也是不可能有什麼出息的，林邑王如此愚昧，難道不好嗎？”侯君集不以爲然的說：“漢朝陳湯將軍曾經說過‘明犯強漢，雖遠必誅’當今天子雄武不輸漢武，大唐牆上不輸大漢，面對遠國挑釁，我們怎麼可以假裝聽不到看不見呢？”李靖說：“當年漢朝的使節訪問夜郎國，夜郎王自認爲國土比漢朝還要大，請問漢朝有處置過他嗎？漢朝史傑也不過是一笑置之而已。”侯君集說：“以你的閱歷，當然不計較君王的榮辱，即使王朝更迭，你仍然不失富貴。我等一路從秦府跟着陛下到現在，絕不能允許遠人得陛下無禮。”侯君集這麼一說，李靖也不知道該如何應對了。
房喬又問了其他人，其他人都支持侯君集的主張。房喬說：“既然如此，那就讓陛下來決斷吧！”於是大家一起來到御前，房喬向皇上陳述了討論的過程。皇上說：“既然如此，朕又有什麼好說的呢？”聞聽此言，侯君集當場興奮起來，揮舞着雙拳說：“臣早就說過陛下是血性男兒，絕不能允許遠人如此的無視大唐。”皇上擺擺手說：“不可以這麼說，大唐要顯示自己的強盛，沒必要通過打擊這樣的效果。大唐軍隊橫掃漠北、蕩平草原，這就已經足夠了。”李靖說：“請皇上決斷吧！”皇上說：“火珠和奏疏都退回給林邑王，從今往後我們不接受來自林邑國的供奉。”侯君集說：“這不是縱容他們自外於大唐朝廷嗎？”皇上說：“開疆拓土的確是一件激動人心的好事，但是這就如同吃飯一樣，一定要量力而行，拿下了國土，你要有辦法治理它，不然的話耗盡府庫之銀，必然重蹈隋朝的覆轍。”
於是唐朝派使節將奏疏和火珠原物奉還，唐朝的這種做法實在是超出了林邑王的意料。他一臉不解的注視着唐朝時節的表情，說：“貴國能夠把寶貝還給我們，我們非常的感謝，爲什麼沒有財物饋贈給我國呢？”使節說：“大唐的財物都是民脂民膏，絕對不能奉送。如同你們不願意將火珠獻給大唐天子一樣，我們不要你們的東西，你們也別想要我們的東西，大家各自相安，豈不美哉！”一聽這話，林邑王說：“你們是不是打算要進攻我國？”使節說：“當年惠子在魏國做相國，之後莊子也來到魏國，惠子就非常的緊張，以爲莊子是來謀奪他的相位的。莊子一笑置之，把自己比作是飛翔於九天的鴛雛，而把魏國的相位比作是烏鴉嘴裡的死老鼠，翱翔於九天的鴛雛，怎麼會惦記烏鴉嘴裡的死老鼠呢？”林邑王目瞪口呆，使節說：“我們就此別過。”
這件事傳開之後，讓林邑王名聲掃地。以至於他對唐朝充滿了仇恨，竟然縱容手底下的人去襲擊駐紮在當地的唐朝軍隊。結果不出所料，所有參與襲擊的人都被唐朝軍隊盡數殲滅。之後，他的部衆被唐軍圍困，但不久之後唐軍又解除了圍困。表示願與林邑王和平共處，卻不願意與他進一步打交道。大有一種雞犬之聲相聞而老死不相往來的架勢。這件事傳到長安之後，皇上特意表彰了守在那裡的唐朝將軍，還說：“大唐不貪圖別國的百姓與國土，但也不會別國蠶食傷害我國的國土和百姓。”相比於南方煙瘴之地，北方草原如今是一派清平世界。李大亮率軍駐守邊陲，按照皇上的旨意，拿出大量的糧食去接濟大漠流民。看着中原百姓辛辛苦苦種出來的糧食就這麼被人白白的拿去食用，李大亮心如刀絞。
於是上書朝廷，表示自從平定草原之後，一些不願意歸順唐朝的草原百姓無所歸屬。遇到災荒的時候就來尋求救濟，拿到糧食之後就馬上走人。也就是說唐朝把百姓辛辛苦苦種出來的糧食白送給別人，卻不能收買他們的心。既然如此不如恢復其舊國，讓他們的故主來統領他們，任由其自行謀生，大唐不再救濟。天子雖然胸懷四海，卻沒有辦法過所有的人，特別是那些不願意歸順大唐的人。房喬看到這份奏表之後頻頻點頭，之後拿着它去見皇上，皇上說：“李大亮真的是一個愛護百姓的國之良臣，你說說看他的主張可行嗎？”房喬說：“臣記得皇上曾經說過，開疆拓土如同飲食，自當量力而行。照顧那些不願意歸順大唐的百姓實際上已經遠超出我們的能力所及，所以請陛下准許李大亮所請。”皇上說：“還是在政事堂討論一下吧！”到了政事堂，果然有人反對李大亮的主張。
李靖說：“對於那些不願意歸順大唐的百姓，就應該一殺了之，無奈皇上仁慈，竟然將他們視作是跟大唐百姓一樣的人，以至於將中原百姓辛苦種出來的糧食，白白的捐獻給他們，這種做法如同以身飼虎。老虎吃了那麼多的肉，從來沒見過他被感化，胡虜與我們是多年的仇敵，怎麼能指望這些人歸順大唐呢？”侯君集說：“皇上待你不薄，你怎麼敢非議皇上的主張？”一聽這話已經害怕了，臉色大變，房喬趕緊打圓場說：“身爲人臣，匡正君王的過失，也是人臣的職責。”侯君集說：“如何就能保證李靖所言是對的，而皇上的主張是錯的呢？”房喬說：“最重要的不是打成說出來一定要對，而是要把心裡的主張說出來，如果只是爲了迎合皇上，而不顧及自己內心真實的想法，這纔是對皇上最大的不敬。”侯君集看見房喬在維護李靖，不由得怒火中燒，說：“房先生如此維護右僕射，是不是有什麼私心呢？”
這個時候長孫無忌說：“我等都是陛下最信任的大臣，那就應該對得起他的信任，奉旨在政事堂議事就該專心於議事，而不是在這裡互相猜忌，把大事丟在一邊。”一連數日他們都沒有討論出一個結果，皇上把房喬叫過去說：“朕現在明白你爲什麼想直接下旨准許李大亮索請了？”是直接下旨讓中書省起草詔書。不久之後，李大亮就接到了詔書，因此百姓被免除了許多賦稅，少交了許多錢糧。大家在歡欣鼓舞之際，對李大亮充滿了感激之情。這件事情傳到了皇上的耳朵，房喬和李靖又被請到了大內，皇上說：“如此看來百姓對朕的這個做法早就有所不滿了，爲什麼從來沒有聽你們說過呢？朕說過多次，如果發現朕的做法失當，就應該及時上書進行匡正。”
房喬說：“陛下，這其中自然有臣等的失職之處，還請陛下降罪。”皇上說：“朕知道以你的性格似乎不大可能向朕直言，不過朕與你共事也不是一天了，難道我們之間的信任有那麼經不起考驗嗎？”房喬長跪在地上說：“臣惶恐臣有罪。”李靖一看房喬這樣只好照着做，心裡想在外人看來，房喬真的是風光無限，想不到在人後竟然是如此的卑微。皇上從李靖的眼神當中看到了一些異樣的東西，趕緊起身將房喬扶起來，說：“好吧！這件事情真不怪你，這都是朕的錯，朕是昏君，朕是桀紂。”不久之後，魏徵也被請到了大內，皇上說：“魏夫子一向有直名，爲什麼之前沒有爲這件事情進言呢？”魏徵從容答道：“臣之前的主張已經被皇上駁回了，老調重彈終究是沒什麼意思的，而且事後皇上的主張也被證明大體上是對的。”皇上說：“你覺得現在停止捐獻糧食給大漠的流民，會有什麼後果嗎？”
魏徵說：“當這些人還是流民的時候，他們就會像拜菩薩一樣請求大唐救助。我這些流民被聚攏在一起，再有一個強人統領，他們不會來請求救助了，而是直接來搶劫。所以陛下應該告訴李大亮，時刻備戰、以防不測。”魏徵這麼一說，皇上又猶豫了，魏徵說：“那些流民寧願流浪也不願意歸順大唐，拿了大唐的錢糧，卻從來沒有感激之情，這樣的救助停了也就停了，沒必要後悔。要是他們膽敢來犯，可以就地消滅，要是他們當中有人願意歸順，我們也可以既往不咎。如果這樣一味救助下去，中原的百姓豈不是太過於冤枉。”皇上說：“要是如你所說的那樣戰事又起，可怎麼辦呢？”魏徵說：“孟子曾經說過，無敵國外患，國恆亡。退一步說，這些人一時無所皈依，可以肯定他們不會永遠是這樣，與其等着他們以後結集起來與大唐爲難，不如現在就動手與他們一戰，如今明主名將都是千年難得一遇，此時動手對我們最有利。”