不過桓溫本來念在兒時的交情，此外也有利用殷浩這個老熟人，以殷家的勢力來牽制當時堅決反對自己篡權奪位的王家，謝家等門閥家族的考慮，一開始是答應重新起用殷浩爲侍中的。爲此兩人還書信聯絡不斷，甚至商議起朝中的人事安排了。
但殷浩在大喜之餘，卻又犯了低級錯誤，居然把最重要的一封回信，也是答覆桓溫應該如何安排朝中官職的回信給弄出了岔子。也許是因爲這封信太過於重要，所以殷浩在裝好信封后又反覆地拆開觀看，如此十餘遍，這才滿意地放了回去，卻是出了差錯，把一封白紙給放進了信封之中，寄給桓溫。
桓溫本來滿懷希望地想要看殷浩安排的朝中官職名單，也能從此看出殷浩是否真心地臣服於自己，卻看到了一張白紙，於是勃然大怒，以爲殷浩是在羞辱自己，以白信絕交。從此桓溫就再也不理會殷浩。
身爲文壇領袖的殷浩，就此經歷了人生的大起大落，在家患上了怪病，時不時地會嘴裡唸唸有詞，拿起一支筆在空中虛畫，卻不知在寫些什麼，直到很久以後，家中子侄才明白，他寫的是“咄咄怪事”這四個字，大概是一直也沒弄明白，爲什麼寫好的信，就成了一張白紙呢。
兩年之後，殷浩積怨成病，最後活活氣死了，而桓溫沒當上皇帝，卻保住了桓家在荊州的世襲藩鎮，也難怪殷仲堪憤憤不平，畢竟當年長輩的恩怨還在，自己現在也跟桓玄有了高下之分。
桓玄嘆了口氣：“我們兩家長輩的事情，就不要再說了，當年那封白信，可能是個誤會，先父臨終之時，言及生平悔事之時，還特地提到了這件事，說這隻怕是信件給某些想要離間我們兩家關係的人掉了包，這才讓兩位大人生出了誤會。只是後來他意識到這點時，令叔已經仙去，也無法彌補這個遺憾了。”
殷仲堪冷冷地說道：“事已至此，說什麼也沒用了。你們桓家起碼還有荊州，而我們殷家子弟，除了有幾個虛職之外，又得到了什麼？這回若不是你們在荊州面臨了很大的壓力，要四處求援，又怎麼會來找上我殷仲堪呢？”
桓玄微微一笑：“殷兄果然一語中的，不錯，話說白了吧，之前我沒來找你，確實是因爲你們殷家現在並非居於要職，不過，這不正是你家的傳統嗎？陳郡殷氏，向來是文壇領袖，就算沒有官職在身，也在世家士族間有巨大的影響力，可謂黑衣宰相，山中執政。這可不是小弟要吹捧殷兄啊。”
殷仲堪的臉上閃過一絲得色，點了點頭：“這點愚兄倒是可以當仁不讓，這也是我們殷家的傳統了。不過，就算有些虛名，現在我們並無權勢，你想要調兵支援，只怕這個忙，我是幫不上的。”
桓玄的眼中冷芒一閃：“不，殷兄，你誤會我了，這次我來找你，可不是要你出面幫我調兵，秦軍南下，看起來真正的突破方向，不在荊州，而是淮揚。”
殷仲堪的眼中閃過一絲疑色：“什麼？秦軍不是大軍攻破襄陽了嗎，怎麼可能就此停手？荊州纔是他們要拿下的，至於江淮這裡，不過是偏師吧。”
桓玄笑着搖了搖頭：“殷兄，你不在前線，這軍事非你所長。兵者，詭道也，秦國大舉進攻荊湘，如果真的有意從荊州一帶突破，那一定會在攻克襄陽之後，派出大量援軍，繼續攻擊的。”
“但他們現在卻是停止了攻擊，駐守襄陽一線，與我叔父的十萬大軍對峙，反倒是在淮北，攻勢非常兇猛，甚至從荊州戰場上調去了兩萬兵馬作爲援軍，種種跡象表明，秦虜知道我們荊州一帶的防守嚴密，想要再突破很困難，於是，挑選了淮揚一帶作爲突破口。”
殷仲堪喃喃地說道：“原來是這樣。這麼說來，你現在不需要求援了？”
桓玄點了點頭：“謝家所練的北府兵我見過，很能打，現在秦虜看起來在淮北佔了點便宜，但在我看來，只怕是中了謝家的誘敵深入之計，一旦秦軍主力長驅而入，到達水網縱橫的淮南地帶，只怕會給北府軍大敗，若能一戰擊破秦軍主力，則這次大晉的危機，就可以安然渡過了。”
殷仲堪的眉頭舒展了開來，並不是很懂軍事的他，其實這些天也挺憂心這些事，他點了點頭：“若是如此，是國家之幸，也是我們這些世家之幸，畢竟，有國纔有我們的世代榮華富貴嘛。”
說到這裡，他的眼中神芒一閃：“這麼說來，桓兄此次來找我，可是爲了這謝家烏衣之會的事情？”
桓玄搖了搖頭：“我並不懷疑謝家能打敗秦軍，但是如此一來，謝家的權勢會得到進一步的加強，他們現在已經有扶植劉穆之，劉裕這樣的低等士人，以代替我們這些高門世家的打算。若是再讓他們戰場建功，那就更不得了。”
說到這裡，桓玄嘆了口氣：“當年先父大人，不就是走了這條路，通過歷次北伐建功，一邊提拔了大批起於行伍的忠心部下，一邊想要改天換日，自立爲君嗎？謝家看起來也有走這條路的意思，到時候，非你我之福啊！”
桓玄擡起頭，緊盯着沉吟不語的殷仲堪：“我這不止是爲了我們桓家，更是爲老兄你着想啊，要知道，我們桓家再怎麼也有個荊州的地盤，可是殷兄你呢，只怕謝家一旦得勢，你現在的官職也未必能再保有了。”
殷仲堪突然一擡手，阻止了桓玄繼續說下去：“夠了，不要再說了。桓玄，你的意思我很清楚，但是現在大敵當前，我們不能做相互牽制，影響前線戰事的事情，不管怎麼說，現在秦虜纔是我們的大敵，別的事情，等打完仗再說。”
桓玄微微一笑：“這是自然，我這次來，不是要殷兄現在就做什麼，不過，我希望殷兄能利用您這名士地位，在這段時間多跟建康城中的世家貴族們走動走動，把我剛纔說的這個道理，讓更多的人知道。起碼，不能讓謝家戰勝之後，就把我們這些高門世家一腳踢開了！”
殷仲堪的獨眼中冷芒一閃：“那我做了這件事，得罪了謝家，我殷家又有什麼好處呢？”
桓玄伸出了手：“兄之大恩，不敢或忘，你我可以成爲一世的盟友，永不相背！只要我桓家渡過此關，荊州的南蠻校尉（荊州最高武官，僅次於刺史）之職，非老兄莫屬！”
殷仲堪咬了咬牙，伸手一擊掌：“一言爲定！”