天寶五年春，正月十三日，詔以隴右節度使皇甫惟明兼河西節度使，入朝任鴻瀘卿。施行之下傳至洮郡，鹹直公主於京中傳來消息，可能與已不利，李揚更是小心從事，任何事務皆不敢張口，只做了個啞巴司馬。
過幾日，楊釗又至書中安慰道：“妹婿不必小心，過幾日便好。”果然二十三日，又傳消息，至尊因皇甫惟明與韋堅結朋黨密謀他事，下制書責韋堅謀求上位官職，存有野心，貶爲縉雲太守；皇甫惟明爲挑撥離間君臣之間的關係，貶爲播川太守。一時朝中大譁，人人皆是寒慄。
李揚回想楊釗之書中所說，便是嘆了一聲，私於妻楊氏小荷道：“朝中風雲莫測，實是心寒。”便生了歸隱之意。
月底，留於長安宅中的劉五遣人送書，將此事說透，原因也簡單，不過是權勢相爭罷了。太子享與李林甫暗中不睦，本來他是想立壽王而陛下改爲忠王，這便恐日後有不利，便日日想廢之。這皇甫惟明、韋堅又與太子善，加之皇甫惟明入朝後曾勸至尊，‘林甫專權，恐爲大唐之禍，不如改爲刑部尚書韋堅代之。’早已收買至尊身邊左右的李林甫隔日聞之，心中大惡。遂今御史中丞楊慎矜密查其所動向，以圖把柄。十五之夜，太子行遊，私會韋堅，而韋堅又不愛自身，轉而密會皇甫惟明於景龍觀。楊慎矜次日上書至尊，言其爲太子親戚之人，不該與邊將狎混。二人之間行跡鬼魅，是否存有不當。至尊疑之，李林甫又使御史中丞王鉷上奏道，陛下，歷來邊將與國戚交通，不外乎謀權二字。但韋堅爲太子親，這恐怕是否對陛下有不利之圖。李隆基這才大怒，朝責韋堅與皇甫惟明爲逆，令兵部銓曹案中之能手京兆府法曹吉溫審其事。韋堅、皇甫惟明知事關太子，便咬牙不屈李林甫之意，吉溫也是束手。但至尊心中早已有了別樣的想法，大抵是敲打太子，便是下制書戒百官，貶二人（摘改自資治通卷二百一十五）。
這讓李揚心中更感恐慌，疾書於國公宅呈李林甫道：“政見不同，可攏之。此事天下人知，恐損岳父大人聲譽！”。李林甫未回，但李岫卻是回書道：“子仁如表字，心爲仁，但朝中之事，恐不是你我之人所能左右，也非是和氣一團之像。子仁，稍安勿燥。”
李揚接書，半響未言，輕輕的拍於案上，用手指猛然扣住死死團成一團，扔於角落之間。
隴右、河西不可一日無主政之人，二月，制下授朔方、河東節度使王忠嗣兼隴右、河西二節度使，一人執四節，軍傾天下！
三月王方鎮入主鄯郡，李揚拜之，皆是舊識談說甚歡，言之安心爲官，至尊心中常念子仁之語，這讓李揚心中涌出一些暖意。
月末，妾室李氏柳葉兒房中冬梅聞喜，小荷以奴婢不得亂老爺之血脈爲由，今其墮胎。血崩之下，冬梅差些喪命，但身子已損，不能再孕。知其事後，冬梅精神便是恍惚，常有瘋癲之舉動，安史之亂時走失再無音信，這今小荷心中自責不已，遂放開禁制。此後秋娘、夏蓮、春桃、春月、梅子皆是生子女，卻未立妾，以家中之人得以善終。
四月，契丹、奚平叛，至尊封故去燕國公李娑固爲昭信王，其婿薊郡公李楷洛爲恭仁王，各爲二族之主，以楷洛子李光弼爲左清率府中郎將兼安北都護，充赤水軍使。又下制書於洮郡，因李揚之妾李氏婦道貞德，爲昭信王之後，特再爲清和縣君。洮州都督府司馬李揚遷中書舍人押刑部事，復爲清徐縣開國男。
未及楊釗來書笑稱，皆是貴妃之功，回京勿忘來拜。
接制書後，李揚宅中頓時起伏，妾室楊太真飛揚起來，仗貴妃勢處處壓衆妾一頭。事及正妻之利益，被小荷正以家法方是好了些。是夜敘與李揚，婉轉承歡討了歡心，又諂朵兒之壞。李揚不知情，依言二日辰責張氏，朵兒氣不過，尋太真理論反被其嗆之。朵兒一怒之下，掌摑其臉，太真不甘受辱與之破口，驚動衆女。小荷又執家法將此事壓下，而不與李揚說過，但二女之間怨氣卻是濃生，至死時後輩依言分葬於李揚之左右二穴中，雲中之人皆稱二妒美人冢。尤其今人稱道的是，朵兒這邊起一樹頭朝左，太真那邊起一樹頭朝右，真是讓人嘆道不已。
五月入京之時，於驛中又聞，李適時因病推託政事，上書言之散地（譯爲閒散之地，此處代爲閒散的官職）。李隆其準之，以其爲太子太保遂罷其政事，以門下侍郎、崇玄館大學士陳希烈爲門下同平章事。在太子少保李適之子衛尉少卿李霅設宴待賓客，也不知所爲皆是無人應赴，世人皆指長安城東薛王別墅卻不敢言。
進中書省至中書舍人公事房，進見閣老知權禮部待郎事達奚珣，與同爲舍人的李日韋、陽浚等人相見禮，再拜右相（中書令）李林甫。
翁婿二人相見自是各有所感，不知何因，李揚只知心中對其隔閡已深，雖是笑顏相說，但那笑臉之下卻是各自有些淡淡的冷漠。
再回蘭陵之宅，鹹直公主早已相候，見面已是淚眼。李揚癡癡而望，掩面別過一邊，想將其擁入懷中卻是有些不敢。小荷卻是迎了上去，口稱妹妹與之痛哭在了一起。
過後相說之間，鹹直公主幽怨之極，闇然而道：“萬安阿姊去歲自阿郎西行之後，便是被禁於宮中。妾身相看數次皆是被旨意擋回，也不知她如今過得可好？”說罷定是思念極深，便又是淚不成泣。
李揚闇然，一切都是因已而起，想必是至尊不許萬安隨意出入，好斷了與已的關係。心下難過，卻是無計可施。
月底，四節節度使王忠嗣遣將入京獻俘，同時拜會李揚。將其迎入府中，問道：“王方鎮近來可好？不知洮郡是否安定。”
來將施禮道：“多謝中書李舍人掛念，一切皆安。前月有小股賊子寇邊，已被軍鎮擊退，並掩殺百里，俘其甚多。”
李揚連聲說好，又是問其之名。
“卑職名爲哥舒翰，祖諱名沮爲太子左清道率，父諱道元，官爲安西副大都護、赤水軍使。卑職現爲王方鎮之牙將。”
李揚嘆道：“原是名門之後，本官敬仰之至。”
“豈敢承李縣男如此，卑職惶恐。”哥舒翰忙是施禮回道，並取王忠嗣所捎於的棋子一付呈上，“方鎮知李縣男好此道，便讓卑職呈上。”
李揚對此物倒是不拒，命人接過，又與之攀談了幾句，卻是發現哥舒翰熟知《春秋》、《漢書》，考研了幾分當是對答如流，便是心喜。喚李蒼頭過來，將自己曾佩過的一柄長劍相贈與他，並吩咐道，“本官此生已是無望於沙場之上，請哥舒將軍佩此劍多斬敵之首！”
哥舒翰感激，於堂下以此劍舞一曲破陣子回贈。
同月，楊釗之好友劍南節度使章仇兼瓊入朝爲戶部尚書，皆是舉薦楊釗之因果。
六月，至尊贊楊釗張馳有度，遷其爲度支員外郎，兼侍御史。
三日，貴妃思姊妹，遂讓李揚之妾太真與另三位阿姊入中宮。李揚送出中使高力士出宅門，竟見其坐御者處充當老闆，便大驚失色，求他下車。
高力士笑道：“無妨，爲貴妃做事，理當如此！”揮鞭而去，獨留李揚於當地嘆而搖頭，心中卻是恐慌之急，心中暗道，如此跋扈恐是不妥。回宅與小荷商議，小荷便將近日楊太真勢壓衆妾之事略說幾處。李揚聽後半響未語，有些悔恨道：“都是爲夫之過，太過寵信她了。”將朵兒喚入房中，好聲的安慰。
張氏垂淚，憐愛之樣今李揚又是加了幾分疼愛。
是夜，太真回宅，手捧彩色織錦與衆人顯耀後。回房披於身上討好李揚道：“阿郎，請觀之。這爲貴妃所贈之物，是嶺南經略使張九章特地進貢貴妃的。阿郎，你看好麼？”
李揚惡其行爲，沉聲道：“脫下來！”轉了臉不去看她。
“阿郎——”太真不知今日李揚爲何這般，嬌喚了一聲，見其仍不動聲色，將織錦扔於地上，想如往常一樣依如他懷中，卻被李揚輕輕推開，責道，“太真，往後莫要多行於中宮，以恐世人笑話。”
太真大感委屈，幽幽道：“阿郎，妾身豈是不知，可貴妃教招於妾身，妾身也不敢不去。”又道，“就說這錦段，那進獻之人一位加三品，另一位爲最者遷爲戶部侍郎職，阿郎爲中書舍人豈能不知？又想及阿郎不過因娶番女李氏爲妾，便從副大都護貶爲下都督府司馬，再次又回中樞，這其中的道理可是明明白白。”
“糊塗！”李揚怒起，但也不知道因何而氣憤，只是胸中難平，手指太真後語卻塞住，不知要說什麼好，半響甩袖推門而去。
太真怔住，十幾年來未見阿郎衝自己發過怒，今日這是怎麼了。一時之間羞惱從生卻是咬緊下脣不肯開口相喚。春桃急着從外間進來喚道：“奶奶！”
“滾出去！”真是不敢相信自己會對春桃如此喝罵，氣泄之後又是後悔，太真又急是問道，“老爺呢？”
春桃低首紅着眼回道：“回奶奶的話，老爺去了二房奶奶那裡。”
“原來是她！二姊算你狠毒！”太真咬牙擠出話來，一股無力之感涌上頭，便是頭暈目旋慢慢的朝地上倒去。
七月，李林甫聽聞韋堅慢行其道，又上奏道：“陛下，罪人有罪，左降之後更是不想留京，就是起赴任上，都爲慢行，至其任上官位缺失數月也是有之。”
李隆基聽後下敕書道：“流貶人多在道逗留。自今左降官日馳十驛以上。”
過日，韋堅之弟將作少匠韋蘭、兵部員外郎韋芝爲其兄訟冤，奏道：“陛下仁愛，但兄犯重罪悔之晚亦，途行之中與書臣等，稱其罪是爲太子殿下所遊所致，悔不改交通邊將，以致鑄成大錯。望陛下看在其兄有功這份上，請求發還家鄉。”
李隆基大怒，責二人道：“你等這是逼朕嗎？難道朕之判是錯了？好，好的很，你等皆是忠心耿耿呀！”便下旨再貶韋堅爲江夏員外別駕，韋蘭、韋芝皆貶嶺南惡水之地。
李林甫暗想，斬草需除根，便再引韋堅與李適之等人爲朋黨，如不加以懲處，恐爲亂大唐。
陛下怒氣更甚，隔二日，改貶爲流使韋堅於臨封，女婿巴陵太守盧幼臨長流合浦郡，李適之貶爲宜春太守，太常少卿韋斌貶巴陵太守，韋堅之外甥嗣薛王李琄貶夷陵別駕，睢陽太守裴寬貶安陸別駕，河南尹李齊物貶竟陵太守，凡親黨連坐流貶者有倉部員外郎鄭章貶南豐丞，殿中侍御史鄭欽說貶夜郎尉，監察御史豆盧友貶富水尉，監察御史楊惠貶巴東尉等數十人。
太子聞風大懼，上表企求與韋妃合離，並言道：乞不以親廢法。時今衆臣心中爲之一寒，不免可憐又不免暗歎。
冬十一月，又發淄川太守裴敦復與北海太守李邕案，陛下使李林甫查之，李林甫以京兆士曹吉溫與御史鞫之，案中贊善大夫杜有鄰一女爲左驍衛兵曹柳勣妻，柳勣狂妄，數次流言杜有鄰借圖讖之說與太子，言中涉及至尊。李隆基得知震怒，下旨杖斃涉案贊善大夫杜有鄰、左驍衛兵曹柳勣、柳勣好友著作郎王曾等人，堆積屍體於大理寺，其妻妾與子女皆流與邊遠。柳勣好交友，曾被裴敦復舉於李邕，三人已是交好遂發此案。過後，李邕之子嗣虢王李巨貶義陽司馬、鄴郡太守王琚因與李邕交好也坐贓貶爲江華司馬，杜有鄰又一女時爲太子良娣亦受累，被太子廢爲庶人。此上明爲案發，實是李林甫欲將太子廢之。（以上摘改於資治通鑑卷二百一十五，舊唐書本紀玄宗下）