五十四、遇禍離荊
卻說潘岳自是拜謝羊祜大恩，羊祜卻不是多話之人，只把他送到家，又自去了。家裡樂廣，傅懷等友人都正在等他消息，見了他便迎上來問可安好。潘岳自是也要相謝衆人。相談之中卻又無奈道：“看來此地不可久留，今夜以後我們就要從此別過了。”一時心裡苦悶，便取琴奏之解悶，樂廣聽出他琴中之意，便道：“安仁，你還是舍不下這份功名？”
傅懷亦道：“當今世亂，莫不如隱世以避禍。”
潘岳道：“這世道當真有可隱之處？叔平兄又如何？叔夜兄又如何？”潘岳講的這二人正是一心歸隱，不問世事的隱士，叔平兄即何宴，他一心著書，先後著有‘無爲論’‘道德論’‘論語集註’等作，只因其寡母納入曹氏皇親爲妾，其時司馬懿正大滅曹氏一族，故被牽連全家問斬。而叔夜即嵇康，卻更是冤枉，他只是一心歸隱，每日只弄音樂，且以打鐵維持生計。只因同爲竹林七賢的山濤舉薦他入仕，他一怒而與山濤絕交，又鍾會有心結交，曾去鐵鋪拜訪，嵇康見他隨從衆多，官派十足，因此不願結交，竟只顧打鐵，置鍾會於一旁而不顧，鍾會一怒而去，由此生怨，卻尋一事告到司馬昭定了他的死罪。雖臨刑之時有三千太學士齊聚求情，司馬昭置此‘無理’要求不顧殺了嵇康。嵇康卻是從容赴死，只坐於刑臺彈起世間最後一曲廣陵散。
傅懷聽了也無話可說，聽潘岳琴音優美，亦嘆道：“叔夜曾與我伯父合著成書，只可惜，安仁晚生了幾年，若不然叔夜也不至於找不到傳人，這廣陵散也不至於從此絕世。”
潘岳亦甚嚮往，奈何自己晚生幾年，竟無緣一聽。便道：“叔夜以琴赴死。臨死時奏琴，曲調竟是絲毫不亂，尤更動聽，令人欽佩，不知我能否做到象他那樣。”
因嵇康死於刑場，樂廣見此話不祥，便問：“如今安仁你卻要去哪裡？可有打算？”
潘岳倒沒想這許多，心裡本無打算，然此刻卻脫口而出道：“我欲去揚州。”
樂廣聽了，知潘岳心意，便道：“看來安仁求仕之心不減啊。”
潘岳卻自一笑，暗想：從此，我這急欲功利之心恐怕亦將於我的才名一同傳揚。當下，也不辯解。他想到揚州，自然亦是爲了求取功名，揚州亦爲當時大城，有三十一萬戶，規模僅次於荊州。當下，再閒話一回，樂廣，傅懷自告辭而去。
潘岳當夜寫好拜辭書信，第二日便面呈羊祜拜辭。羊祜自知潘岳心意，畢竟自己也只能保得了潘岳一時，且昨夜之事已經得罪趙王，石崇，潘岳自是不願再多生事端，拖累自己之意。羊祜從前一心厭棄文人，初見潘岳時，見他生相俊美，尤其不喜，只當他是繡花枕頭，腹內草包。後來方覺出他才華出衆，滿腹經綸，且聰穎過人，不拘俗禮，竟全不是自己想像當中書呆文腐形象。又當初石崇甚是推崇潘岳，錦衣玉食，華府美姬，而自己白眼於潘岳，供給從簡，軍規又嚴，潘岳卻不辭辛苦棄石崇而投自己，可知其心性品德。也正是因此，自己能斷定潘岳是潔身自好之人，方纔毫不猶豫地趕到金谷園把他從趙王，石崇手裡救出。到此時，實在心裡對他已是欣賞已極，便道：“你僅管放心在這裡，有我在這一日，當保你一日。”
潘岳自是感激羊祜看重，然他知趙王心狹記仇，自不欲羊祜與趙王對敵，便回道：“羊公乃國家重臣，身系天下之安危，怎可爲潘某一人得罪他人，埋下禍根？再說天下之大，也不愁沒有我的去處。”
羊祜愈加敬重，便道：“你有大才，自然不愁無處施展，只可惜生得太美，恐怕反而於你的前程有阻。”
潘岳道：“天生，父母給，不敢非議。”
羊祜知潘岳心意已決，且趙王現在正在勢頭上，潘岳出去避一避也好，待得過幾年，這事過去，趙王漸漸淡忘，潘岳若還有意，自己這裡自然是隨時他來，便道：“上面的批文雖然沒下來，只是我這裡車騎常侍一職從此虛位以待。”當下亦問潘岳欲往何處。
潘岳便答了揚州。羊祜一聽此話，亦知潘岳心意，便勸他不必忙着求功名，先隱居兩年，恐怕趙王還不肯罷休之意。潘岳聽了，雖然無奈，但自覺有理，無言以對。當下，羊祜點了親兵，護送潘岳出城。衆兵士也甚敬重潘岳，送出城後又直送出百里之遙方纔迴轉。