雖然去歲年末部隊就開始了針對性的登陸操演，但都是在福建近海進行的，從泉州出發後在南下途中，第三師的官兵們還是經歷了一場大風浪的洗禮。饒是這些南方士兵都有過乘船的經歷，後來還經歷過一些海上的訓練，也經不住這種顛簸，加上海船空間狹小，很多人暈船了。
經過幾天的航行之後，船隊到達了伶仃洋外的萬山羣島，萬山羣島，位於珠江口正南方，是廣州出海航道必經之地，萬山羣島層巒疊嶂，如座座營盤雄踞虎門前沿，像艘艘鉅艦駐泊於珠江口海面，成爲華南的天然屏障和廣州的重要門戶。羣島間航道縱橫交錯，是廣州，珠海，香港進港船舶的必經之地；而萬山羣島恰扼出海航道的要衝，地勢險要，正是兵家必爭之地。
如果沒有英法艦隊的搶先佔領，張文祥的第三師第一場登陸戰必定會在這裡爆發，可惜早在去歲英法封鎖珠江口時，萬山羣島就已經陷落，如今守在島上的是英國海軍陸戰隊的士兵，而遊弋在萬山羣島海域的是英法艦隊。
所以作爲南下作戰的先鋒部隊，第三師第一個登上了萬山羣島當中的垃圾尾島，也就是桂山島。桂山島位於萬山羣島西北部，珠江口東側，當國內外船舶進出珠江口航線之要衝，爲萬山羣島海上交通樞紐。島呈南北走向，長3公里，岸線長9.40公里，面積3.5125平方公里。全島有井13眼，各山均有泉流，終年不斷。足夠數萬人淡水飲用。島岸較曲折，多岩石陡岸和磊石岸，近岸礁石散佈。沿岸共有港灣15個，主要有一灣、二灣，均爲沙質岸灘。灣內有英國人修建的“T”型碼頭3座，並建有建議的導航燈樁。
張文祥和鄭巖馱等第三師指揮部成員是跟隨第二批舢板、小船登上桂山島的，島上的英軍陸戰隊指揮官是一個叫喬治亞的海軍上尉，他帶領一百二十多名英軍駐守這個島。對於太平軍船隊的到來，他們並不吃驚，早在一週前。他們就接到了移交桂山島給太平軍的命令。
去歲年末，在一輪又一輪的爭吵和妥協之中，英國公使包令和法國公使布隆布爾不得不放棄了原本的條件。西王始終不同意與英法聯軍聯合對清軍作戰，開放全國的條件也被拒絕，西王只同意增開南京、蘇州和泉州三處作爲新增的通商口岸。鴉片貿易合法化被言辭拒絕，西王甚至不惜以戰爭作爲威脅來拒絕這一條款。
如今身陷印度戰爭漩渦的英國人沒有多少底氣和太平軍開戰。太平軍控制了幾乎所有的南部沿海重鎮和港口，和太平軍開戰英國會損失很多利益，他們也不認爲太平軍是懦弱、腐朽的清軍，光靠海軍和兩千海軍陸戰隊就能達到讓太平天國屈服的目的。
於是英法暫時選擇了退讓，三方草簽了一個協約，僅僅只是太平軍南下廣州作戰的一個協約而已。西王用增開三處通商口岸和允許英法兩國使節進駐天京爲代價，換取了封鎖珠江口岸的英法艦隊讓出萬山羣島的佔領權。同時雙方約定。英法在太平軍南下廣州之戰中撤回香港錨地，不干預廣州的戰爭，太平軍在佔領廣州後，承諾在最短時間內恢復廣州的秩序和貿易。
雖然英國人很不滿意這次談判取得的成果，但卻無可奈何，他們不可能在印度方面沒有鎮壓下起義的同時，再在遠東和兵力、戰鬥力強大的太平軍宣戰。當中英法聯合艦隊司令格蘭特的意見起到了至關重要的決定作用，根據格蘭特的說法，太平軍已經不同於腐朽的滿清軍隊，他們在廟街、庫頁島等一系列對俄作戰中的表現已經證明。他們並不比俄國軍隊弱，甚至他們要強於俄國人，要想讓太平軍屈服，英法聯軍甚至必須做好再打一次克里米亞那樣規模的戰爭，而不是僅靠還身陷印度的三萬遠征軍就可以成功的。
格蘭特的評估之語讓英國首相和議會都感到了棘手。加上英國商會和羅斯柴爾德家族的反對，於是英國人妥協和暫時退讓了。英國商會更看重的是即將新建的滬寧鐵路和寧福鐵路，上海到寧波到福州的鐵路修建，這是一塊多麼巨大的蛋糕，如今的太平天國每年進口的鋼鐵、五金、武器等等也是非常豐厚的商業利潤，而且太平天國的進出口關稅也很合理，沒有像之前滿清那樣多重收稅，發生不愉快的爭端也很快能夠得到太平天國政府的解決，沒有滿清那種愚昧無知的推搪和避而不見，因此英國商會成員都不願意與太平天國開戰。至於那些骯髒的鴉片商人，他們多數都是印度爆發戶，本土的英國商人是看不起他們的，雖然英國本土商人偶爾也進行過鴉片貿易，但他們更看重的是本國的商業。
羅斯柴爾德家族則很堅定的表示反對英國和太平軍開戰，他們的理由也很簡單，太平天國和滿清的內戰必定是以太平天國勝利告終，作爲將來遠東最大的國家，英國商人和羅斯柴爾德家族的利益就是在於和這個國家處理好商貿關係。雄心勃勃的太平軍希望加快國家建設的腳步，這勢必帶來更多的商品進口和原料出口，而中國的人口是四億，這是一個非常大的市場，羅斯柴爾德家族甚至願意貸款給太平天國來儘快結束這場內戰。
同時人們也注意到了羅斯柴爾德家族中的一個新成員，一位來自東方的美麗女性，一位曾經的太平軍女將軍，現在是羅斯柴爾德家族中小兒子克利福德的妻子，她的名字叫做李璇璣。自從到了英國和克利福德舉行了盛大的婚禮之後，李璇璣就進入了英國貴族的上層社交圈子。她的英文是克利福德交的，在中國的時候就說得很好，與英國貴族那些夫人、小姐們的交流並沒有障礙。
李璇璣溫婉賢淑，加上淵博的東方文化底蘊，令她在很短時間內就以個人魅力征服了那些夫人和小姐們。李璇璣爲她們展示了中國美麗的刺繡、雕刻、景泰藍等等精美的藝術品，很快李璇璣就在英國上層社會掀起了一陣中國風，並逐漸向中下層社會輻射它的影響。同時，李璇璣聲情並茂的講述下，讓英國人瞭解了太平天國的開明，瞭解了滿清的腐朽和殘暴。泰晤士報甚至開設了一版專欄講述這位太平軍女將軍（李璇璣曾官至檢點）的事蹟和介紹太平天國的事蹟，有李璇璣的現身說法，令原先對太平天國很失實的一些傳聞不攻而破。太平軍不再是英國人眼中的叛軍，而是爭取民族獨立和推翻暴政的正義之師，而且所謂的滿清皇權也是滿人強加給他們的，在英國人看來野蠻的韃靼人就應該被推翻。
在各方的努力下，英國首相巴麥尊和英國議會答應了包令的建議，同意簽訂臨時協約，讓出萬山羣島，結束對廣州的封鎖，由太平軍完成對廣州的佔領。
但這次妥協是被迫的，英國人的利益並沒有得到完全實現，也爲之後雙方爆發戰爭埋下了隱患。但至少在英國人沒有解決印度事件之前，雙方還是維持了友好的合作關係。
喬治亞在沙灘上見到了張文祥，張文祥此時的軍銜已經是少將，喬治亞上尉首先向他敬禮，張文祥回禮後打量了一下他身後已經準備撤離的英軍士兵，只見他們衣着整齊，一個個高昂着頭顱，那股子傲氣躍然而起。
交接儀式很簡單，喬治亞和幾名英國軍官同張文祥等太平軍將官就完成了。英國人修建了簡單的營房和一些設施，但這些不夠太平軍南下大軍的使用，張文祥命令登岸軍隊儘快卸下物資，然後開始在島上修建營房駐地，擴建碼頭和清理登岸地點。
當夜，英軍和太平軍舉行了一個簡單的聯歡會，兩邊士兵比試了槍法和格鬥。第三師身經百戰，張文祥挑出了最好的士兵進行比賽，自然是太平軍完勝英軍，甚至喝酒也是完勝。第二天一早，英國兵艦麥爾威利號接走了一百二十多名爛醉不醒的英國士兵。
送走了英國人之後，張文祥找來當地的一些漁民做嚮導，開始準備進攻珠江口的沙角炮臺和大角山炮臺。萬山羣島是伶仃洋外的廣州門戶，而沙角炮臺和大角山炮臺則是進入珠江口的門戶，它們的身後纔是虎門等一系列珠江沿岸炮臺。要登陸攻佔廣州就必須攻佔這些炮臺，而要佔領這些炮臺就必須先拿下沙角炮臺和大角山炮臺。
沙角炮臺位於珠江口的沙角山上，它的對岸就是大角山炮臺，第一次鴉片戰爭時期，這兩個炮臺一度被毀，後來又重修和擴建。苦於第一次鴉片戰爭中，兩座炮臺上火炮不精，滿清加大了修建，如今兩座炮臺共有64座大炮，當中滿清的萬斤大炮就有四門，其餘八千斤大炮十門，其餘都是三千斤大炮，已經足夠覆蓋三千六百米寬的珠江口。炮臺上各駐有滿清綠營兵和團練兵馬兩千餘人，可謂是下了血本。
在桂山島休整兩天後，第三師陸續分兵接管萬山羣島的同時，張文祥和水師將領唐正財商議之後，決定趁夜偷襲這兩座炮臺。