“匹夫無罪，懷璧其罪，呵呵，瀚鵬說的真是一針見血啊！”西鄉隆盛嘆息起來。
林逸青的話，的確說到了他心中的痛處。
西鄉隆盛之所以離開明治中央政府回到家鄉退隱，並不全是因爲“徵韓”之議被否決，另外一個重要原因，就是他對明治政府實施有損於下級武士利益的政策感到不滿！
西鄉隆盛非常同情下級武士們在明治維新後的悲慘遭遇。他在請求薩摩藩政府救濟一個參加過倒幕戰爭的下級武士出身的士兵的信中寫道：“臨生死之境，使之如私物，事定之後，即行拋棄，影響德義。”他的一首廣爲流傳的言志詩寫道：“幾經辛酸志始堅，丈夫玉碎恥瓦全。一家遺事人知否，不爲兒孫買美田。”因爲他看不慣許多明治政府高官追名逐利，窮奢極侈，指責他們見利忘義，背叛了維新志士們的維新初衷。
西鄉隆盛的個人品德，在日本一直被人們推崇。正是在這些內政問題上，西鄉隆盛與大久保利通等人產生了矛盾。西鄉隆盛和大久保利通等人儘管有矛盾，但他們都認識到要建立近代國家，使日本擺脫半殖民地危機，必須消除封建割據局面，建立中央集權的國家政權。是以他們在這個目標下聯合起來，全力進行廢藩置縣的改革。西鄉隆盛擔任陸軍大將兼近衛軍都督後不久，明治政府公佈《地稅改革條例》等5個文件，實行變革封建土地所有制，確立近代土地制度的地稅改革。在此前後，明治政府還進行了政治、經濟和軍事上的多項資產階級改革。西鄉主持和參與了這些改革，雖在改革內容上沒有特別的建樹，但他統帥軍事力量，以武力爲後盾，保證改革順利進行，應該說是他的特有貢獻。西鄉隆盛、大久保利通、木戶孝允三人以在倒幕維新活動中的作用和貢獻，被人們譽爲“維新三傑”。
日本的明治維新，其實就是一次資源與權力再分配的過程，在這個過程中，一部分舊權利擁有者必然會失去原本擁有的資源和權力；維新的概念，套用管理學的理論來說，其實就是一個管理扁平化的過程。一部分中間階層必然會被淘汰，也就是一個從最上和最下兩個階層向中間階層擠壓的過程，而這中間最終被剝奪出的權力和省出的資源，就會重新分配到最高和最低的人羣中去，從而使管理和生產都達到新的平衡。比如“攘夷”，實質是想要剝奪西方殖民者在日本的資源和特權，爲日本本國所用。然而相對當時的日本，西方殖民者是十分強大的，即便薩摩長州這樣的強藩在與他們對敵後也深深意識到無法與他們抗衡，如果硬要剝奪他們在日本的資源，很有可能反倒被這些船堅炮利的國家徹底打倒，連主權即本國政府分配自己國家資源的權利都會丟個乾淨。因而不如承認他們在日本的存在，甚至與之結盟，換取他們的支持，和必要的軍事技術援助，以獲得更高的發展資源（所謂的“發展生產力”）的能力和擠壓其它階層的能力（在他們的支持下倒幕）；“倒幕”實質是把矛頭指向天皇之下，各諸侯之上的幕府將軍這一階層，剝奪他的特權、領地，剝奪他所擁有的資源和分配資源的權力；“倒幕”成功之後的“廢藩置縣”則等於把這把刀又砍向了諸侯，剝奪他們的資源和權力。然而進一步的軍制改革，使得普通平民也擁有當兵的權利和義務，讓更多的人有爲國盡忠的榮譽感和升遷的機會，等於是這把刀又砍向了下級武士。如果要說到背叛，倒幕過程中出過大力的諸侯和下級武士都是被新政府背叛了的！
西鄉隆盛本人其實是非常贊成新的軍制的，他知道從公家的角度而言，新的制度能夠讓日本更加強大。可是從私而言卻不好說了。諸侯在倒幕過程中出過力，他們的資源和權力被剝奪以後還可以成爲新的財閥，地主，就算過不了以前那樣的奢侈糜爛的生活，至少生計是不用愁的；而那些下級武士，他們數目龐大，作爲個體而言，原就擁有不多的資源，再被剝奪從軍特權，就等於衣食無着了。西鄉隆盛在把自己的武士之刀砍向幕府和藩主時根本就不曾猶豫過，可要砍向一貫支持維護自己的羣體——大量的下級武士時，他猶豫了。西鄉隆盛不能忘記這些與他並肩戰鬥的戰友，因而在軍制改革的初始階段，他努力增加以下級武士爲主體的近衛軍的編制，就是爲了給這些曾經的戰友一個容身之處。可近衛軍的編制也是有限的。雖然西鄉隆盛本人非常豪爽大度，每當有薩摩武士來找他的時候，假如他不能解決他們的私人問題，就任其在門口的錢櫃那裡取用。然而這點錢畢竟不能解決根本問題，也使他自己在政治上遭忌。
爲了解決這個問題，西鄉隆盛想出的辦法就是對外擴張，“堤內不足堤外補”，讓下級武士們去侵略別的國家，從新的領地內和其它國家的人民身上取得新的特權和新的資源。爲日本這樣一個彈丸小國本身計，其實這也的確是一條出路。可是說起來容易，做起來難。
當時世界列強環伺，世界上的絕大部分土地都被瓜分一空，對日本來說，除了琉球，就只有臺灣、朝鮮兩處可打，此二地西方列強還未來得及染指，也許也不會造成強烈反彈。
其實當時日本朝野都有“徵韓”“徵臺”之念，除了西鄉隆盛，大久保利通和山縣有朋等人也一概贊成日本的對外擴張，只是這當中有“急徵”還是“緩徵”的區別。而西鄉隆盛是強烈呼籲“急徵”的。他的目的，是在以平民爲主的政府軍還不具備強大戰鬥力時，用世世代代以戰鬥爲職業的軍人——下級武士們來進行這些對外侵略，也使他們迅速在新的殖民地上找回他們在本國喪失的特權和利益。