蔣介石在暗中聯絡日本的同時，通過多條渠道與美國接洽。1月26日，事先徵得蔣介石同意的王正廷與美國駐滬總領事高思舉行了秘密會談，雙方皆願今後經常保持聯繫，互通情況。通過這次密談，王正廷把革命營壘內部的矛盾狀況和蔣介石集團的計劃向美國亮了底牌。美國政府極爲欣喜，雖然明知國民政府不準蔣介石同外國交涉，仍下令將上海租界中立照會正本分交蔣介石、張作霖二人，以示賞識和器重，只將抄本送陳友仁。
蔣介石在聯絡帝國主義初獲成功之後，於3月7日在南昌總部發表演講，他不僅將抨擊矛頭直指鮑羅廷，而且還爲自己私下聯絡日美的行動進行辯解。
在蔣介石同美、英、日國家暗地勾結的過程中發生了“南京事件”，極大地影響了雙方合作協商的進行，但蔣介石的對此事情的解決，卻又促成了他與美、日、英等國的進一步親近。1927年3月24日下午3時，英美帝國主義藉口保護僑民安全，下令停泊在下關江面的軍艦向城內大舉炮轟，死傷千餘人，製造了南京慘案。
慘案發生時，各帝國主義集結在上海的軍隊，連同所謂“萬國商團”和巡捕等已達2．3萬多人，集結在上海南京一帶江面的各帝國主義軍艦共達90多艘，準備大動干戈。
蔣介石於3月25日自蕪湖乘艦抵達南京江岸，聞得此訊後，於下午4時在艦上召見江右軍總指揮程潛面授機宜後，即駛向上海。下午2時左右，蔣之心腹楊虎代表蔣對日本官員說：
此次事件實爲遺憾。這決非黨軍領導人之意，而是軍隊內部不良分子和南京支部成員共同策劃蓄意製造的。無論如何請你們寬恕。對黨（）支部，已經下令解散。善後措施願以誠意交涉。請日本方面無論如何以寬大態度處理這一事件。
蔣介石到達上海後，於3月28日派黃郛秘告日本駐滬總領事矢田七太郎：南京事件是爲了打倒蔣介石一派而製造的苦肉計。
同日，蔣介石派員往英美法日意駐滬總領事館，就南京事件表示“遺憾”。同時，蔣對外籍新聞記者發表談話，談到對於南京事件，已經派員調查，任何官兵凡經證實犯有暴行者，當於嚴懲。
同日，英美日駐華公使協議向本國政府建議，向蔣介石提出要求迅速解決“寧案”的通牒草案。他們企圖利用所謂“人策劃蓄意製造南京事件”之說，對蔣介石施加壓力，逼迫其接受“懲兇”、“制止騷亂”等條件，加速。
事實上，此時此刻，擺在蔣介石面前的路很窄，要麼與這些外國人成敵，要麼爲友。而無論是英國、美國和日本也都迅速將蔣介石的策略訴諸於兩個簡單的選擇，要麼將其拿下，要麼蔣必須將功補過。
3月30日，日本使者矢田奉東京訓令會晤蔣介石，指出：南京事件以來，外國人的神經越來越過敏，英美法都在謀劃對中國增兵。當前確是重要時刻，瀰漫着某些小小事端惹起大事件的危險。因此，你對維持上海治安必須予以特別深切的考慮。蔣介石當然領會日方暗示他，當即回答：“我充分諒察尊意，定當嚴加取締。”
幣原喜重郎聞知蔣做出肯定反應，決定敦促蔣儘快採取行動鎮壓人。4月1日，他向矢田發出新訓令，要他全文轉知蔣介石。當晚，矢田邀黃郛到寓所，舉行秘密談判，矢田轉述了外相訓令的內容。蔣介石於4月2日召開了“中國國民黨中央監察委員會議”，會議決定檢舉各地“危險分子”，就近由軍警加以“看管監視”。
當晚，蔣介石派黃郛親自到矢田處，轉告他對日本政府的答覆：“蔣介石充分諒解日本政府的苦衷和善意，並衷心感謝。”並對“整頓國民政府內部已下決心”，現正召集將領仔細研討中。一旦準備就緒，將立即斷然採取行動，“其時間在四、五天之內”。
受日本政府的態度影響，特別在日本外相幣原喜重郎的斡旋下，美國也不再堅持要求對蔣實行制裁。4月9日，日美英法意五國公使達成協議：抗議照會不加時限，不提製裁，鋒芒指向對“南京暴行”應負責任的“中外勢力”。所謂“中外勢力”顯然是指和蘇聯。蔣介石的一番苦心討好終於贏得了外國主子的一致歡心。
南京事件加速了蔣介石集團與帝國主義合流，蔣介石的政治態度及其在外交政策上的重大轉變無疑影響了帝國主義的對華政策，而帝國主義對華的軟硬兩手政策則推動並加速了蔣介石集團走上“清黨”的道路。
收買和利用青洪幫是蔣介石“清黨”的一項重要準備活動。上海幫會組織主要是由青幫和洪幫組成的，20世紀20年代，上海幫會已形成擁有萬千徒衆，幾乎無處不在、無所不能的封建流氓團體。他們分段爲霸，劃地爲王，其中，黃金榮、杜月笙、張嘯林的勢力最雄厚，成爲上海幫會勢力的代表。
蔣介石與上海青幫是有着歷史的淵源的。早在1908年，蔣經陳其美介紹與幫會取得了聯繫。辛亥革命期間，蔣奉陳其美之命組織“先鋒敢死隊”參加光復杭州之役，這支武裝就是以幫會人物爲骨幹組成的。二次革命失敗後，蔣介石夥同張靜江、陳果夫、戴季陶等在上海證券物品交易所做投機生意時，虞洽卿介紹他投拜黃金榮門下爲門生。
蔣介石深知上海幫會有着廣泛的社會基礎，控制着社會下層的大批羣衆，神通廣大，無所不能，並擁有鉅額資財，更重要一點是上海幫會有租界當局的支持，這些對急欲奪權和鞏固統治的蔣介石集團來說無疑非常重要。1927年2月，蔣介石委任了上海四個幫會首領爲駐滬特派員，其目的即在勾結青紅幫做的打手。
蔣介石派楊虎聯絡上海的幫會勢力。楊虎到上海後，立即聯絡幫會頭子黃金榮、杜月笙、張嘯林等，動員幫會參加。當楊找到杜月笙商議聯合“剿共”的時候，杜月笙認爲：“機不可失，參加將來在政治上纔有地位。”杜還提出勝利了絕不會對他們有好處，只會是和國民黨同歸於盡。與其這樣，不如全力與國民黨合作，使國民黨取勝，纔有前途。遂決心與蔣介石合作，充當爪牙。
蔣介石還採納了楊虎的建議，盜用辛亥革命時期“國民共進會”的名義，令黃金榮、杜月笙、張嘯林等組“中華共進會”。通過這一籌組活動，他們迅速成立了一支人數衆多的幫會勢力武裝，成爲進攻上海糾察隊的主力骨幹、“急先鋒”，只要蔣介石一聲令下，這些地痞流氓、雞鳴狗盜之徒便會傾巢而出，助蔣清共。
3．使政變合法化
儘管蔣介石作了充分準備，但爲了確保成功，他又在某些細節上精心佈置，企圖發端於“人不知，鬼不覺”，給對方來個措手不及。
蔣介石進駐上海後，故意施放“團結”的煙幕彈。他在接受記者採訪時駁斥了外國報紙散佈的所謂國民黨分裂的消息，蔣介石詳談了同人的關係，他聲明說，一切參加國民革命運動的人，不論他們的政治信仰如何，他都視爲同一個黨的黨員等，諸如此類言語娓娓動聽，欺騙民衆。
蔣介石對上海外圍的重要城市作了部署：白崇禧負責浙江的軍務；調何應欽到南京，將衛戍南京而傾向革命的3個團繳械，並以總司令的名義命令傾向武漢政府的第二、六兩軍渡江作戰，兩軍渡江後，立即切斷退路；收買孫傳芳的第五師和第九師師長，令其駐守揚州和南通。在上海，將不可完全信任的第一、二兩師調往南京，調新近歸順的孫傳芳的舊部周風岐的軍隊擔任上海防務。
蔣介石還控制了輿論，4月6日發表的文告規定：“所有武漢發來之電報、函件及武漢各報淆惑聽聞妨礙革命之記載，並總政治部等各種反宣傳廣告，一概不許刊登及轉載。”
蔣介石集團發動“清黨”是對革命的背叛，爲掩蓋他們反革命的行徑，替即將發動的反革命政變披上“合法”的外衣，首先，他們假“中央監察委員會全體會議”之名“決議清黨”，其次，發表美其名曰爲“護黨救國”的通電。
爲了實施在南昌擬定的這一分裂革命營壘的手段，蔣到滬後，首先把“四老”——蔡元培、吳稚暉、張靜江和李石曾請到楓林橋舊淞滬鎮守使署的深院裡密談。蔣介石提出當前必須採取行動，立即“清黨”。由於張、吳與蔣早有的密謀，故談話主要是爭取在黨內外享有盛譽的蔡元培的支持。隨後，蔣又邀請被他排擠離粵的胡漢民到楓林橋，懇談時局。
四一二反革命政變前夕，蔣介石還請出國民黨元老吳稚暉，爲其作輿論鋪墊。吳稚暉在出面聯絡留居上海的分子之後，曾與環龍路44號的西山會議派接洽，爭取西山會議派的支持。爲此他好說歹說，費盡脣舌，終於說動了西山會議派，贊成分共。
3月28日，吳稚暉還出面約集留滬的國民黨中央監察委員蔡元培、張靜江、李煜瀛、古應芬等舉行緊急會議。吳稚暉在會議上報告他於3月6日同陳獨秀談話的經過，他以“陳獨秀明言二十年內實行共產”爲藉口，以已人國民黨的員所謂“謀叛國民黨”及“不利於中華民國之種種行爲”爲詞，提議“應行糾察”，實行“清黨”。其他人吳稚暉的提議，並將“清黨”冠以“護黨救國”之名。
4月2日，蔣介石集團假“中央監察委員會全體會議”之名在滬召開特別會議。出席會議的人數不及全體中央監察委員的半數，但這次會議卻冠之以“中央監察委員會全體會議”的名義。會上，吳稚暉提出了“致中央監察委員會請查辦函”，謂“現在漢口中央執行委員會爲及附和之各員奉俄國鮑羅廷煽動而盤踞”，因而，“舉凡中央執行委員內叛逆有據之員及附逆委員，應予查辦。”要求“中央委員非委員，及未附逆委員臨時討論，可否出以非常處置。”