自鴉片戰爭以來，英、法等列強憑藉海上優勢，在中國東南沿海肆虐橫行，極大的衝擊、動搖了清王朝封建統治的基石。清王朝面對有海無防、處處捱打的局面，一改歷代備邊多在西北的格局，轉而重點加強海防建設。同治光緒年間，慈禧太后積極主張將練兵、制械、加強海防、徐圖自強作爲立國“一件大事”，鼓勵洋務派官員不必顧及頑固保守派的指責，盡心興辦。這不僅在一定程度上體現了最高統治者對洋務派的信任與倚重，更重要地是反映了清王朝國防重點的轉移。正是在這種思想指導下，中國沿海地區陸續開始了造船、造炮、修築炮臺，編練新式海軍艦隊的活動。
在第一次鴉片戰爭中，直接與英國侵略軍交戰的林則徐深刻感受到近代海軍的威力，提出“師夷長技以制夷”的主張，最早提出了建立近代海軍的構想。但當時朝野卻仍昧於世界大勢，還認爲中國是位於世界中心的“天朝上國”，外國仍是遠遜於中國的“蠻夷之邦”，“師夷造船”有失“天朝”體面，所以不僅安於現狀，而且反對買船造船。林則徐提出購買、仿造近代軍艦的想法和實踐遭到朝野上下的激烈反對，道光皇帝甚至在林則徐建議造船的奏摺上批道：“一片胡言”。林則徐建立近代海軍的方案被否定，有名無實、落後**、早就不堪一擊的綠營水師仍是當時中國惟一的水軍。雖然後來在鎮壓太平天國的運動中，湘軍在江南多次與太平軍進行水戰，不得不建設水師，但仍然都是舊式水軍。第二次鴉片戰爭時期，英法侵略軍從海上進攻，最後直入都城，使朝野深受震動。一些人開始認識到近代海軍的厲害。從19世紀60年代初清廷開始考慮仿造或向西方購買軍艦，這時，距林則徐提出的建立近代海軍的建議已整整20年！而就在這20年間，西方的海軍取得了飛躍性發展，蒸汽軍艦已逐步取代風帆艦艇成爲了海軍主要艦隻。
儘管清廷開始較以往重視海軍建設，開始海軍的初創。但與中國漫長的海岸線和麪臨的險惡的國際形勢相比，清廷對海軍的重視顯然不夠。所以海軍發展很不理想。新式海軍的發展極其緩慢。更爲重要的，是在後世看來也更難理解的是，當時全國竟然沒有一個統一的海軍指揮機關，各支水師皆由當地督撫管轄。本就很難協同作戰，而各省督撫更將水師看作是自己的私產，不但難以調遣，更是不願改變。象長江屬南洋管轄，南洋大臣名義上有對長江水師的節制權，但當新任兩江總督兼南洋大臣沈葆楨奏請將南洋各水師統一整編，去除舊式帆船，改換成蒸汽艦艇，對此。統管長江水師的長江巡閱使彭玉麟竟以種種理由推託。兩江總督南洋大臣的號令都很難在自己所轄的長江水師中貫徹。全國海軍的整體狀況便可想而知。簡而言之，清廷仍是用管理傳統水師方法管理近代海軍，根本未意識到近代海軍裝備技術相當複雜，必須統一，系統管理高度遠非舊式水師可比。何況。朝野許多人都認爲建立海軍衙門這樣一箇中國傳統“六部”所沒有、只有“夷狄”纔有的新機構，意味着“以夷變夏”！
1874年6月的中日琅嶠戰役，是中國近代海軍組建以來對外第一仗，雖然取得了重大勝利，但也暴露出了中國海軍力量的單薄，使清廷開始重視海軍建設，在1875年2月，清廷發佈上諭，承認雖然與曾建立造船廠、建有海軍，但“造船不堅、制器不備、選將不精、籌費不廣”是導致日本膽敢悍然入侵的主要原因。表示“當此事定之時，懲前毖後，自以大治水師爲主”，而海軍衙門便是在這樣的背景下成立的。
海軍衙門的設立可以說適應了洋務運動發展的需要，當時中國已初步具備建立海軍的條件。清王朝自19世紀60年代以來廣泛設廠制械、造槍造炮、製造船艦，逐步改變着中**隊陳舊落後的武器裝備。這不僅使陸軍由千年一貫的大刀長矛向近代先進的新式槍炮迅速轉化，創建海軍的條件也日趨成熟。海軍衙門成立前，福州船政局、江南製造局等中國企業自制的大小船艦已達20餘艘，均配備新式槍炮、分撥南北洋，爲使舊式水師向新式海軍轉化創造了條件。同時，民用工業的迅速發展，如煤、鐵資源的發掘，交通運輸、電報通訊的相繼創辦，也無一不適應着這種轉化。爲加速海軍成軍，清政府開始籌措鉅款向外國定造船艦，並積極謀求和外國合作，吸收外國先進技術，自制軍艦。當時許多西方報刊敏銳地察覺到這一動向，預言：“由此觀之，不數年間，中國陸路之兵，將舍弧矢之戲，而專恃洋槍之威，水師之船，將舍風蓬之笨，而獨取火輪之速矣”。
儘管背景頗爲複雜，海軍衙門的設立仍是中國近代史上的重大事件。它標誌着清王朝自鴉片戰爭屢遭列強打擊之後，終於將加強海防、創建海軍做爲頭等大事。醇親王奕擐雖然才識有限，但爲光緒皇帝的未來和清王朝的鞏固，還是將創建海軍、加強海防做爲盡忠報國的畢生事業。他受命之後，敢於拋棄陳腐觀念，密切注視國際風雲，虛心向洋務派請教，並以其特殊地位爭取慈禧的同情與支持，爲推進以海軍建設爲中心的近代化事業創造了有利環境。而在富有遠見卓識的恭親王奕忻的大力配合支持下，海軍衙門遂成爲指導洋務運動的中心。
《郭嵩燾日記》：
“初九日，寅初入東華門，至九卿朝房小坐。蘇拉楊姓，旋引至內務府朝房，迎謁軍機，恭邸、寶、沈兩中堂及李蘭蓀尚書，仍回至九卿朝房。須臾，傳旨召見軍機及嵩燾，六額駙景壽帶見。入月華苑，至內朝房小坐。內侍傳恭邸命，至軍機坐處。佩衡相國讓座，予謝不敢。恭邸言：‘南書房舊人，何謙爲？’因詢家世甚悉，並問意城弟名崑燾，現在何處？以精透洋務相推許，至於再四。語次顧問兩中堂：‘此人洋務實是精透。’坐久，始返西屋。六額駙帶至養心殿。予以寶座當在正殿，顧視不類。已而內侍掀東屋簾。請安畢，進跪至席旁，得睹聖容，莊嚴坐御榻上，兩房及坐前以小案護之，覆以青布。座後垂簾，六額駙跪簾旁。
太后問：‘在外幾年？’
答曰：‘四年。’
太后問：‘在廣東幾年？’
答曰：‘三年。’
太后問：‘途次可曾遇雪？’
答曰：‘在泰安遇雪。’
太后問：‘地方皆安靜否？’
答曰：‘安靜？’
太后問：‘在京城充當何項差使？’
答曰：‘南書房行走。’
太后問：‘可是告病回家？’
答曰：‘旨意來京另候差委，途次請病假。’
太后問：‘年若干？’
答曰：‘五十六歲。’
召見畢，退至外朝房。英香巖中堂旋至，相與寒暄數句。複合肥伯相一信。”
“十一日，謁文博川中堂，延至內室，談至兩時之久。病體初愈，形容憔悴，忠心耿耿，實心敬之。沈經笙中堂、李蘭蓀尚書始相見，並雲文中堂極相引重。及見文中堂，察其意若甚關切者。此行由文中堂論薦無疑也。語次，並詢粵東被謗之由，及左君所以相處，頗難於作答，略一申敘而已。僧邸及左君皆有盛名，於鄙人亦皆引重，而偏不能容，致使鄙心無以自解，豈非所謂天耶？”
“十五日，林鯤宇來，送一密函，匣上書‘遇事乃發’四字，不明其意，問之，鯤宇言至英倫時，有大事發生，當用得上，現下多說無益。怪而收之。與談甚久，出使在際，鯤宇言英倫情事甚詳，又出家書一封，囑餘至倫敦時，交於在英華商總會會長陳廷軒，蓋陳氏乃其妻族也。鯤宇雲陳氏在海外頗有聲名，又曾捐資報效，得太后賞賜金牌，