2月8日，他以與俄軍事代表團團長季山嘉有意見分歧爲由，提出辭職要挾，意在驅季，未果，又向汪精衛進言，稱季專橫，如不免除，不僅對黨國有害，且必牽動中俄邦交。如不準蔣辭職，就應令季回俄。3月8日，蔣又訪汪，進一步提出“革命實權不可落人俄人之手，即與第三國際聯繫，須有一定限度，不可喪失自主地位。”可汪毫不理會。蔣見此招不靈，只得另尋機會和目標了。
國民黨二大閉幕後，蘇聯顧問鮑羅廷和加倫離開廣州，的兩廣區委書記赴滬，總書記陳獨秀生病休息，國民黨左派和在國民黨及軍隊中的影響暫時削弱，因此，廣東各種反動因素開始強化，三一八慘案期間北方革命形勢低落，廣東政局立即發生新的變化，蔣脫離革命軌道的傾向日益明顯。孫文主義學會經伍朝樞等介紹，與西山會議派相結合，他們利用蔣的多疑性格，在香港、廣州、上海等地多次散佈謠言，爲蔣的提供口實。
在3月20日前，他們揚言廣州不久將有大變發生。3月17日，孫文主義學會又謠傳“製造叛亂，陰謀策動海軍局武裝政變。”接着又假借名義調動中山艦爲突破口，大肆鼓吹“中山艦要炮轟黃埔，要暴動”。蔣借題發揮，趁機宣佈戒嚴，派兵逮捕和監視人，包圍省港罷工委員會和蘇聯顧問辦事處。此乃震驚中外的中山艦事件。蔣在事後大耍反革命兩面派手法，一方面假惺惺地向人們做解放，一方面孫文主義學會與西山會議派分子混淆視聽，使中山艦事件的起因蒙上一層層面紗，成爲一樁“懸案”。
但我們只要把它納入事變主要當事人雙重政治態度演變的因果鏈條中，就會清晰地看到：蔣在革命方面的表現，獲得國民黨政治和軍事上的鉅額回報，爲蔣奪取國民黨最高權力創造了條件；他存在的反革命政治態度亦在變化發展，當它積累到一定程度便會發生質變，註定他要掃除阻礙自己目的實現的各種勢力。上述兩方面是互爲因果的，無前者就無資本和條件去實現“抱負”，無後者就不會加速實現其“抱負”，這使得他在反蘇的道路上愈走愈遠。
3．黨務整理過程
1926年2月，鮑羅廷以“回國述職”爲由向廣州國民政府請假，去中國北方。同月15日，鮑羅廷在北京向布勃諾夫等彙報了廣東革命根據地的情況。
4月8日，在共產國際一機關刊物上發表了一篇題爲《廣東政府與中國革命運動》的文章，謂蔣介石“不可能在一夜之間就發動一次政變”，“廣州人民政府看來從沒有今天這樣受到擁護”，爲蔣開脫責任，這是蘇聯顧問對華工作方針上的一個重大轉折。
鮑羅廷探得要領後，也一改原來回國計劃，4月29日，回到廣州。事實上，鮑此次回來最關心的問題就是如何重新恢復蘇聯與蔣介石的關係，特別是在經歷中山艦事件後，如何不讓蘇聯在中國革命的投入不付之東流和前功盡棄。
蔣介石對鮑的到來，頗爲不安，擔心在汪精衛問題上產生“糾葛”。4月30日，蔣介石開始與鮑羅廷“商議黨爭，交換意見”，發現鮑尚有猜忌。在最初的試探之後，蔣介石審時度勢，認爲不能退讓，必須強硬對待。他提出，要求限制人在國民黨內的職務。鮑羅廷由於感到一場右派政變迫在眉睫，決心以向蔣介石讓步爲代價，換取他對右派的鎮壓。鮑羅廷認爲，蔣介石有很嚴重的缺點，但在現時的國民黨人中，沒有人能像他有力量、有決心，足以打擊右派的反革命陰謀，爲了打破當前極度危險的僵局，不得不對蔣作最大限度的讓步。
鮑羅廷與蔣介石屢次會商國共合作問題，制定整理黨務辦法。當鮑羅廷與蔣商量這個辦法時，對他的態度極爲緩和。鮑、蔣會談的結果很快明朗：其一，鮑對於蔣在三四月間的所作所爲，包括對他的限制、排斥員，以及蔣製造出來的“以蔣代汪”的局面，採取承認的態度；其二，鮑將此時運抵廣州的援華軍事物資，悉數交給蔣介石，這些物資包括兩萬多支來複槍、數門野炮、數架飛機等；其三，蔣允予續聘鮑羅廷爲高等顧問，並同意鮑提出的關於打擊右派的意見。這就是鮑、蔣之間的幾點“君子協定”。
5月4日，蔣如約續聘鮑羅廷爲高等顧問。6日下午，援華軍事物資由兵艦運到。這樣一來，蔣的所作所爲，一下子全成了爲蘇聯所支持、所認可的行爲，怨蔣批蔣之口遂被封住，汪精衛的出路也完全堵死，同時爲以後的“清黨”的變本加厲討了個合法藉口。不僅如此，至此，蔣對蘇俄的態度瞭如指掌，故能牢固掌握，盡爲其用，尤其是助長了蔣對的排擠和打擊氣焰。
鮑與蔣訂立的“君子協定”，究其實質，內容主要是“棄汪聯蔣”，這對於國民革命的現在和未來走向是具有決定性意義的。它確認了“以蔣代汪”的格局，推波助瀾地將國民黨、國民政府的歷史，推向了以蔣介石爲軸心的時代。
與鮑羅廷一同聯袂歸來的胡漢民，此時收回了他在莫斯科公開的擁護蘇聯、擁護第三國際的調子，以親見親聞的“資格”，遊說拒俄、排共，以求東山再起。他實在是打錯了算盤，蔣介石意在一人獨斷，不可能搞蔣胡合作，再者胡的拒俄遊說，特別是他對蔣提出的“扣留鮑羅廷”的主意，更提得不是時候，如果真是那樣做的話，蔣介石自斷活路，因此胡之此行註定是一無所成的。不出所料，1926年5月9日，在廣州政壇敗出的汪精衛、胡漢民，同時離粵。
“君子協定”的另外一個問題是抑制。由於蔣介石對鮑羅廷的底牌掌握得一清二楚，因此，從一開始，蔣就提出，要求限制人在國民黨內的職務，這便成爲蔣公然向發動一次黨務限制和清除運動。5月12日，蔣介石即與鮑羅廷商談“黨務整理辦法”。雖然鮑也表示過不同意見，但態度極爲緩和，凡蔣介石所提主張，鮑在支支吾吾中全部接受了。14日，蔣對鮑說：“對提出條件雖苛，然大黨允許小黨在黨內活動，無異自取滅亡，餘心實不願提出亡黨條件，但總理策略既在聯合各階級，故餘不願違教分裂也。”表面上聲稱遵從孫中山遺教，而實行上認爲孫中山的“容共”將導致國民黨之“亡黨”。對此，鮑羅廷“默然”無語，不作表態。種種情況助長了蔣之野心，整理黨務案即是在此微妙關係中出臺和實施的。
在國民黨中央黨部第18次黨務會議上，蔣介石認爲中山艦事件後內外謠言四起，衆說紛紜，整個國內風言風語，一片混亂，爲統一口徑，蔣介石建議召開國民黨二屆二中全會。至5月中旬，預定會期已到。而此時，蔣已完全控制住了蘇聯顧問，也解決了汪、胡的問題，能夠從容操縱會議，將自己的意志上升爲“黨”的意志。
會議之前，蔣於13、14日分別與張靜江、鮑羅廷、譚平山、張國燾等談話，談整理“黨事”及國共“妥協”條件，對的活動提出了嚴厲限制的條例。
5月15日，國民黨二屆二中全會在廣州召開。出席會議共40多人，譚延闓、蔣介石、譚平山爲主席團成員，蔣介石爲主席。蔣介石宣佈開會理由，矛頭直指，指責“自從先總理逝世之後，本黨內部，日益糾紛，一般跨黨黨員，時有軌外行動”，“反客爲主”等。隨後，由蔣介石、譚延闓、孫科等9人，提出《整理黨事案》，核心內容爲四項原則：改善中國國民黨與的關係；糾正黨內跨黨黨員之軌外行動及言論；保障國民黨黨綱黨章的統一權威；確定員加入國民黨之地位與其意義。
在《整理黨事案》之外，蔣介石又單獨提出國共“協定事項”8條：應訓令其黨員，改善對於國民黨之言論態度，尤其對於總理之三民主義，不許加以懷疑或批評；應將國民黨內之黨員全部名冊，交國民黨中央執行委員會主席保存；中央黨部部長鬚不跨黨者方得充任；凡屬於國民黨黨籍者，不許在黨的許可以外，有任何以國民黨名義召集之黨務集會；凡屬於國民黨黨籍者，非得最高黨部之命令，不得別有組織及行動；中國及第三國際，對於國民黨內的共產分子，所發一切訓令及策略，應先交聯席會議通過；國民黨黨員未受准許脫黨以前，不得人其他黨籍，如既脫黨籍而人，以後不得再入國民黨；黨員違反以上各項時，應立即取消其黨籍，或依其所犯之程度，加以懲罰。
以上四項原則和蔣的八條提案，是在改善和調整兩黨關係的表面文字之下，運用國民黨的組織機制，通過中央的名義，公開地和全面地限制、排斥，是兩黨仍有合作關係的前提下，公然對的污衊、歧視和壓迫，最後迫使退讓。上述兩個提案在文字上略作修訂，並分別正名爲《整理黨務第一決議案》及《整理黨務第二決議案》，於5月17日獲得通過。
5月18日，蔣介石等又在會上提出《選舉中央執行委員會主席案》。中央常委是國民黨二大新設機構，由9人組成，而沒有中央常委會主席之設置。當時大會秘書長吳玉章解釋，這樣做是爲了使“此後凡百事務，當必以多數人負責之故，而進行敏捷”。蔣介石這個提案，含有改變國民黨中央領導體制的意義，其用意是進一步從組織上排斥汪精衛。國民黨人稱整理黨務四個決議案中，以這個議案爲最關鍵和最重要，關係到本黨組織歷史重心的重建。這個提案被正名爲《整理黨務第三決議案》，獲得通過，並“選舉”張靜江爲中央常委會主席。張靜江是國民黨中央監察委員會委員，蔣介石爲了使張當選，竟在其提案中規定可由“監委”委員任“執委”主席，這也是因人設置的一個典型事例。20日，蔣介石又在會上重新登記黨員的提案，即《整理黨務第四決議案》，進一步控制員的活動。
5月20日，國民黨二屆二中全會閉幕。按照《整理黨務案》的要求，在25日召開的第二十八次中央常務會議上，（缺席）提出辭去宣傳部代部長職務，林伯渠提出辭去常務委員會秘書及中央財政委員兩職（未提辭農民部長職），譚平山（缺席）提出辭去常務委員會秘書職務（未提辭組織部長職）。28日，張靜江主持第二十九次中央常務會議，“照準”三人辭職。張靜江提議：由蔣介石任組織部長，顧孟餘任代理宣傳部長，甘乃光任農民部長。
同時，蔣介石加劇了向奪取中央和地方黨權的攻勢，蔣介石於5月28日出任國民黨組織部長，陳果夫被蔣介石任命爲該部秘書，陳到任後，在4個月內，將原在組織部內工作的大部分黨員清洗出去。原西山會議派的葉楚傖、邵元衝分別出任中央執行委員會秘書長和青年部長。
但是，蔣介石並未以此滿足，他又超出整理黨務案的範圍，進一步要求人承認國民黨的領導地位，同時要求參加國民黨的員退出。5月27日，他對由退出軍隊的人組成的高級訓練班講話，宣稱“領導中國國民革命的是中國國民黨”，“革命是非專政不行的，一定要一個主義、一個黨來專政的。”
因此，他要求做出“暫時犧牲”，以便輔助國民黨強大起來，6月8日，他向鮑羅廷明確提出：“共產分子在本黨應不跨黨。”8月，他派邵力子代表國民黨赴莫斯科參加共產國際執委第7次全會，要求共產國際接納國民黨，同時命邵轉達：承認共產國際是世界革命的領導，但共產國際應承認國民黨是中國革命的領導，實際上是不需要存在的。
7月13日，蔣介石以即將前往前線，無暇兼理組織部長職務爲由，舉薦陳果夫爲組織部長。同時，他與陳果夫以及代理中央常委會主席的張靜江策劃了一套奪取省市黨權的計劃，篡奪地方黨權，爲“清黨”鋪路。
1926年10月，陳果夫決定改組廣東省黨部，並修改選舉辦法，在他的操縱下，廣東全省代表大會的選舉結果，只有3名員當選爲執行委員，改變了過去由人和國民黨左派佔優勢的局面，這無疑爲各地右派篡奪地方黨權做出了示範。從而爲日後的全面“清黨”掃清了障礙，鋪平了道路。