李揚勸上之事過日竟然無了下文。他自湯池中醒來，睜眼便見侍御史恭候，只道至尊是不會饒了自己，這心中方是害怕不已。急是出水面西而跪叩頭道：“陛下，臣雖是言語衝撞，但句句可是實話。如今臣知已罪，但求陛下赦免家人。”
“李縣男，陛下傳旨，命你即日速回長安，處置東宮諸多之事。”侍御史不知心中如何這想，此時卻是正色的傳着李隆基之旨意。說後過來相扶，笑意滿充於臉道：“李縣男，陛下是知你忠心的。這個，下官其實也與李縣男之意有苟同之處，下官實是佩服。若是李縣男願意，那下官可日後登門討教學問。”其言中有着說不出的巴結。
李揚怔住，原來不是宣旨拿問自己的，這倒是奇了。但事實如此，便朝他點了點頭，起手拱手道：“哦，嗯，多謝擡愛。來日，本官定是掃門以待，也不必說什麼討教，你我可爲切蹉一二，同論詩經。”
自華清宮回長安，入東宮管理事務，凡事與左右庶子相商而辦理，這讓張良娣看在眼裡，借省親之時與二兄弟言道，你師有周、召公之品，日後要多於親近。
又過數日，入十一月，王忠嗣出冤，貶爲漢陽太守。李揚終是鬆了一口氣，又聽聞此事多虧哥舒翰之力。往日哥舒翰入京，召華清宮面聖，與至尊相談，至尊引爲奇才，大喜之。又論王忠嗣之事，哥舒翰力陳其冤，引李光弼與王忠嗣之言論對：“陛下，光弼曾與言忠嗣道：‘方鎮曾上言至尊，以所得不利所失之舉而違至尊意。今董延光擇期欲下石堡城，而方鎮以愛士卒身躬之故，心中定然難免有些抵制。如今至尊制書下，實是無法子之事。雖出兵以數萬衆計而授於董延光，但卻不加賞罰，那士卒誰等願意爲其出力！可是此次奪城是陛下之意，若是無功而返，那董延光必將罪推於方鎮身上。方鎮授大夫之職，領二軍之節度，軍府財貨充盈，何不將數萬段帛與之，而防其事後饞言之口呢！’，陛下，王忠嗣則以對，‘今以我軍數萬之衆而爭一城，若是拔之不一定能制敵，若是不得也與我大唐無害，但軍士皆是大唐之大好兒郎，身死卻作這無用之功，所以我不欲爲之。我若因此事受責至尊，到時下場也不過是貶爲金吾、羽林等衛的將軍，成爲至尊的宿衛，再次不過被黔中艱難之地爲別駕、長史、司馬等職；這與數萬人之命相比實是輕之又輕！將軍之言，是爲我擔憂也是爲我好，但我意已決，將軍不必多言了！’而光弼嘆：‘方鎮言過了，我不過是怕到時因此事被將軍所牽累，故不敢不言。今方鎮能行古人仁義之事，豈是我等夠達到的。’陛下，此事王忠嗣早有所料，但他卻以軍士之命爲惜，從而犯事。陛下，自接制書以來，王大夫但卻未鬆懈過半分，言語雖是如此，但還是盡起精兵相輔之。用兵不力本應罪及領兵之將，豈能怨了派兵之人呢？”
李隆其聽後不語，起身回禁中。哥舒翰見此，緊緊相跟隨，自至尊身後悲切痛哭而道：“陛下，王大夫忠心可昭日月！臣願以身家性命作保！”又膝行轉至尊前，叩頭不已。
“你之言朕已知。忠嗣有過但無罪！”李隆基又想及李揚之言，終是放言定論。又於三司之書奏上批，“太子吾兒居深宮，安得與外人通謀，此必妄也。但劾忠嗣沮撓軍功，實是大過！”便下旨貶之。又言哥舒翰仁義，便加其爲判西平太守，充隴右節度使。（以上摘改自資治通鑑卷二百一十五）
此案終了，李揚也便放下了心，但李林甫之宅卻是甚少再登。加之小荷、朵兒、柳葉兒、喀秋莎、茉莉、韋紇齊齊格、李騰空以及兒妾室巧兒先後同月聞喜，便是更加不敢隨意相與人來往，除去常走動的幾家外，其餘的皆是謝客。
宅中有喜，心中自是開懷，與父親又將二弟兄喚至房中，飲了個大醉。父親年老，當不得這般的吃酒，自是行走不便。將二弟兄送回，服侍父親睡下，方要起身之時，父親卻喃語道：“如今兒子爭氣，官祿富貴不必相說，就是這子嗣將來也必多。李家祖宗可以笑顏了。”
李揚聽後搖頭笑笑，將火盆之火拔旺，復過來取被爲父親掩上。
“呵呵，可惜，可惜呀，若是父親未被李家抱養，那如今笑顏的就怕是那楊家了吧。哈哈。”父親又是睡夢之中喃語，這句話讓李揚頓時呆在當場，什麼？原來我祖卻是楊之血脈！這驚世之言重重的擊於李揚之心上，當下心神難定，不知胡亂的想了些什麼。出門帶好，讓奴婢好好的服侍，自己便是魂不守舍的回了內宅。
入書房，正巧太真有事來尋，說上幾句無非不過是一些瑣事，本來就心上煩燥，便隨意的回了幾句。可太真卻是不饒起來，撒着嬌的纏糾不清，這讓李揚頓時惱了，厲聲責道：“凡事自有正室做主，這些小事以後莫要來煩我！”便將其自懷中推了出去。
楊太真怔住，阿郎這是怎麼了，但卻不敢再放肆，悻悻的退了出去。回自己房中想了想，便暗道，定是那二房的狐狸精所爲，仗着自己貌美壓了羣芳，便是迷惑阿郎，真是不要臉！又與心中恨上了幾分。
而李揚卻是不曉得這此，只知越想這頭便越是疼痛，心中不斷的相問，難道說那個夢是真的？提筆在紙上亂書，猛然看到卻是寫了數個李字與楊字，這心更亂，隨意的用筆塗了。站起身來，推窗相看，一股冷氣入裡，撲於臉上，讓他打了個冷戰。不行，此事必須要問個究竟！“來人，去喚李公來見！”喚完又是否定改道，“莫要去喚了，讓李公備馬便是。”
騎馬出門，帶張阿牛領防閣二人，心中已是有了一個人選，那便是官爲戶部侍郎兼御史中丞楊慎矜。此公爲先隋之後，又居大唐之高位，定能不敢騙了自己，而那夢中他可是居中的要人，不防去他宅上，從口風之中看看能探出些什麼來。
行至楊宅，卻是見被禁軍所圍，整條街上無一人敢出門相看，皆是閉門關窗不予生事。禁衛之外卻是人擁相擠，相爭看熱鬧。
李揚皺眉，張阿牛如今已侍在身邊數年，早已練出察言觀色的本事，未等其開口便早早的扯住一人相問，回來告稟道：“老爺，這楊侍郎事發了！”
“哦，爲何事？”李揚心中狂跳。
張阿牛道：“聽說是被人告發，其爲隋煬帝孫，與兇人往來，家有讖書，謀復祖業之大逆之罪！”
“啊！”李揚只覺天旋地轉，頭暈之下只是緊緊的抱住了馬首，心道一聲苦也，我命休亦！