方以智的《物理小識》中的哲學思想基本上是唯物主義的，但個別觀點也有陷於唯心主義之處。明亡以後，方以智堅決抗清，削髮爲僧，在晚年時期，他受佛教的影響較深，於是在哲學基本觀點上走向唯心主義，甚至完全轉到唯心主義。
這在他的晚年著作《東西均》中明顯地表現出來。《東西均》中首先重複了“離物無心，離心無物”的命題，進而認爲太極就是心。他說：“太極者，先天地萬物，後天地萬物，終之始之……自古及今，無時不存，無處不有，即天也，即性也，即命也，即心也。”
這樣，他所謂的心就成了與太極一樣的絕對本體了。進一步，他更認爲心是氣的所以然。他說：“本一氣耳，緣氣生生，所以爲氣，呼之曰心。”又說：“世無非物，物因心生。”這樣，他就離開了“離物無心”，而專講“離心無物”了。
方以智在《東西均》中雖然主張“氣理皆歸一心”，但仍然反對離氣言理；掃物尊心。他說：“夫烏知一之本千萬，聽其千萬之本一乎？標理者謂理，已膠；標心者執心，亦膠。”
這是說，萬象本於一原，一原顯爲萬象，不應專標一原忽略萬象。如果專門執定理或者執定心，那也就膠固不通了。他論述理與象的關係說：“理與象，氣與形，皆虛實有無之兩端而一者也。……世有泥象數而不知通者，固矣；專富理而掃象數者，亦固也。……豈有通至理而不合象數者乎？……真易簡者，不寓繁多而易簡。者也。”既不可泥於象數，也不可掃象數而專言理。
他又講形上形下的關係說：“陰陽即形下矣，而謂之道，豈非上藏子下而無上無下者乎？”形而上者即包括於形而下者之中。他反對絕物以存心：“火固烈於薪，欲絕物以存心，猶絕薪而舉火也，烏乎可。”又說：“愛一惡賾，膠柱已甚。人當獨有一心，四官四支、三百六十骨節太多，何不廢之？天當止有天，不當有日月星，可乎哉？”天不能脫離日月星，人心也不能脫離四官四肢。
於是，方以智認爲，心是世界的究竟本原，心是最根本的。他說：“通言之，則徧滿者性，即徧滿者心，未有天地，先有此心。”這樣的心不是個人的心，而是“公心”。他說：“心大於天地，一切因心生者，謂此所以然者也。謂之心者，公心也，人與天地萬物俱在此公心中。”所謂公心，也就是絕對的心。然而此公心，又仍然是自心。所以他又說：“苟非徹見自心，安能信此心之即天地萬物乎？”
宋明哲學中關於哲學基本問題的爭論是圍繞“氣”、“理”、“心”展開的。唯物論者認爲氣是本原，客觀唯心論者認爲理是本原，主觀唯心論者認爲心是本原。值得注意的是，方以智明確提出氣、理、心的問題。他認爲，理可統氣，而理氣又皆歸於一心。他說：“無真妄之真真，即統理氣之至理。”“主理臣氣而天其心，乃正示也。”他又說：“形本氣也，言氣而氣有清濁，恐人執之，不如言虛；虛無所指，不如言理；理求其切於人，則何如直言心宗乎？”歸根到底，他認爲心是最根本的。他說：“囚言氣理，而質論，通論之，皆歸一心。”
方以智認爲，氣、理、心三者既有區別又是統一的，可分而不可分，不可分而可分。他說：“氣也，理也，太極也，自然也，心宗也，一也，皆不得已而立之名字也。”又說：“明至無可明，養至無可養，窮至無可窮，則又何心。何氣，何理乎？又何不可心之，氣之、理之也乎？”“理也，氣也，心也，俱可忘言，俱無不可言，又何揀擇乎？”對於萬物來說，氣也是根本；但是心究竟是最根本的。方以智的《東西均》中所宣揚的哲學觀點，十分明顯，是一種唯心主義。
方以智晚年雖然主張唯心主義，但仍然重視事物的探索，並沒有忘掉他早年提倡的質測之學。
三、“隨”、“泯”、“統”
相因者皆相反，相反者皆相因。相反即相互對峙，相因即相互倚伏。一與二，統一與對立，也是相反而相因的。方以智說：“因對待謂之反因，無對待謂之大因。然今所謂無對待之法，與所謂一切對待之法，亦相對反因者也，但進一層耳。”“對待”亦即相對性，“無對待”亦即絕對性。絕對的與相對的亦是相反而相因。辯證法不僅承認相對，而且承認有絕對，但絕對即在相對之中。方以智也講“無對待在對待中”，但又主張超越一切差別，“世即出世，是名超越”，“乃無實無虛，無可無不可，冥應雙超者也”，於是他又陷入形而上學的觀點中去了。
方以智的辯證思想和他的形而上學觀點是錯綜交織的，但應該分別看待。他關於“二”、“對待”、“相反”的學說是相當深刻的，這是他思想中的精華；他關於“無二無別”的觀點要求超越一切差別，就是他思想中的糟粕了。
方以智又提出“交”、“輪”、“幾”三個觀念，他說：“交以虛實，輪續前後，而通虛實前後者曰貫，貫難狀而言其幾。”又說：“交也者，合二而一也；輪也者，首尾相銜也。……幾者，微也，危也，權之始也，變之端也。”
這裡，“交”即對立兩方面相互作用相互滲透，“輪”即對立兩方面相互轉化相互推移，“幾”是變化的開始，即事物運動變化的內在源泉。所謂“交”既指對立的相互作用相互滲透，而又表示：既然兩者交互作用交互滲透，彼此也就無所區別，合爲一體。所謂“輪”既指對立的相互推移，又表示：兩者彼轉爲此，此轉爲彼，循環往復，互不相離。他又說：“虛實也，動靜也，陰陽也，形氣也，道器也，晝夜也，幽明也，生死也，盡天地古今皆二也。兩間無不交，則無不二而一者，相反相因，因二以濟，而實無二無一也。”
天地古今，一切事物，無不形成對立，無不包括對立，而對立皆二而一，終究是無二無一。又說：“輪之貫之，不捨晝夜，無住無息，無二無別。隨泯自統，自然而然。”又說：“一不可言，而因二以濟，二即一，一即二也。自有陰陽、動靜、體用、理事，而因果、善惡、染淨、性相、真妄，皆二也，貫之則一也，謂之超可也，謂之化可也，謂之無可也。”
這些觀點，一方面承認對立矛盾的普遍性；另一方面又斷言對立矛盾都沒有分別。“盡天地古今皆二也”，這是辯證法的命題；“無二無別”，這是形而上學的謬論。在方以智的學說，這兩方面是相互聯結在一起的，但在今日，我們應當分別觀之。
方以智提出了關於對立的相互關係的學說。第一，他肯定對立之爲對立，肯定對立兩方面相互滲透、相互轉化的關係。第二，他又認爲，對立的兩方面既然相互滲透、相互轉化，也就沒有區別，於是否認對立之爲對立，而認爲一切都是同一的。這第一層思想應該說是辯證思想，這第二層思想則由辯證思想倒向於形而上學了。
方以智的形而上學的觀點是錯誤的，而且有時達到了荒謬的地步。但他的辯證思想也是極其顯著的，他的主要貢獻無疑是闡發了一些辯證觀點，這也不能忽視。
方以智在《東西均》中提出了“隨”、“泯”、“統”三個觀念，作爲他的方法論的總綱。他說：“明天地而立一切法，貴使人隨；暗天地而泯一切法，貴使人深；合明暗之天地而統一切法，貴使人貫。”
照這三句話看來，與“泯”、“統”相應的觀念應該是“立”，但他在多處都以“隨”、“泯”對言，而在篇題中也以“統”、“泯”、“隨”並舉。所謂“隨”即順從常識，承認一切事物的存在，也就承認對立之爲對立；所謂“泯”即消除一切區別，不承認一切事物的存在，也就不承認對立之爲對立；所謂“統”即綜合以上兩種觀點，把兩者貫通起來。方以智認爲“隨”、“泯”、“統”三者是統一的：“究竟統在泯隨中，泯在隨中，三即一，一即三。”這“隨”、“泯”、“統”的觀念來源於佛教華嚴宗的三諦（俗諦、真諦、中諦）學說。方以智說：“華嚴歸於事事無礙法界……可見中諦統真俗二諦……俗諦立一切法之二，即真諦泯一切法之一，即中諦統一切法之一即二、二即一也。”“隨”即華嚴宗所謂“俗諦”，“泯”即華嚴宗所謂“真諦”，“統”即華嚴宗所謂“中諦”。“隨”承認“二”，“泯”只承認“一”，而“統”則肯定“一即二，二即一”。承認二之爲二，這是辯證法；不承認二之爲二，這是形而上學。在方以智的思想中，辯證法與形而上學觀點是交織在一起的。
方以智又提出“反因”的學說。他說：“吾嘗言天地間之至理，凡相因者皆極相反。……夫對待者，即相反者也。……吉凶禍福，皆相倚伏。生死之幾，能死則生，徇生則死。靜沉動浮，理自冰炭，而靜中有動，動中有靜，靜極必動，動極必靜。有一必有二，二本於一。豈非天地間之至相反者，本同處於一原哉？”
四、對於理學和禪宗的批判
方以智晚年雖然由唯物論轉向唯心論，並且沉浸於形而上學的幻想之中，但他並沒有背棄他早年從事的質測之學，仍然強調學問不能脫離事物。
方以智的哲學有顯著的特點。第一，他早年的唯物主義思想是和當時的自然科學知識密切聯繫的，這在中國傳統哲學中頗爲突出。第二，他晚年由唯物主義轉向唯心主義，但仍批判理學與禪宗的空虛之學，鼓吹“實學”。第三，在他的思想中，既有辯證的觀點，又有形而上學的觀點，錯綜交織、呈現異常複雜的情況，我們在分析他的形而上學錯誤的同時，也要注意他的相當深刻的辯證學說，充分估計他對辯證思想的貢獻。
他宣稱：“天載於地，火麗於薪，以物觀物，即以道觀道也。火固烈於薪，欲絕物以存心，猶絕薪而舉火也，烏乎可？”這是說，心固然是主要的，但不可絕物。方以智根據這個觀點對於理學和禪宗提出了深刻的批評。
關於自然和歷史的知識都是依靠學習的，所謂“本自具足”，不過是說具有認識的可能性而已，赤子吃飯和走路也有待於學習。一定要離外言內，首先應該不吃飯。方以智對於“離外以言內”的批判是犀利的。
方以智強調內外統一，“道寓於藝”。他說：“知道寓於藝者，藝外之無道，猶道外之無藝也。……真智內智，必用外智。性命聲音，人所本有，可自知也。寓內之方言稱謂，動植物性，律虜古今之得失，必待學而後知，其曰本自具足者，猶赤子可以爲大人也。……據實論之，赤子之飯與行必學而後知。……欲離外以言內，則學道人當先從不許學飯始。”
他雖然不能擺脫唯心主義的影響和束縛，但他堅決反對脫離事物的空虛之學。他又說：“即博學之病，病不過老牖下，孰與悟門之病，誑惑橫行，而僭第一坐乎？”博學之士雖不免膚淺，但不會像自以爲明心見性的人那樣狂妄自大。他更宣稱：“欲挽虛竊，必重實學。”方以智提出“實學”的口號，是值得注意的，這反映了明亡以後進步知識分子的要求，也表現出他早年從事質測之學的科學態度。
他批評理學的偏失說：“理學怒詞章訓故之汩沒，是也；慕禪宗之玄，務偏上以競高，遂峻誦讀爲玩物之律……禮樂精義，芒不能舉；天人象數，束手無聞。……由是觀之，理學之汩沒於語錄也，猶之詞章訓故也。”
理學排斥辭章之學與考據之學，以閱讀史書爲玩物喪志，結果對自然與歷史的實際情況都不研究，完全陷於空虛無用，本質上和詞章考據一樣。他又批評禪宗的謬妄說：“禪宗笑理學，而撣宗之汩沒於機鋒也，猶之詞章訓故也。所謂切者槁木耳，自謂脫者野獸耳。夫豈知一張一弛、外皆是內之真易簡，絕待貫待，以公統私之真羌礙乎。”這是說，禪宗專講所謂機鋒，自謂明心見性，實不過自欺欺人而已，並不理解內外、絕對相對的統一關係。
方以智思想中的矛盾反映了明清之際社會的各種矛盾。當時，封建地主階級與農民的矛盾既已激化，滿漢之間民族矛盾更加突出，漢族地主階級中進步勢力與腐朽勢力的矛盾也很顯著。各種矛盾錯綜糾纏，更加上方以智個人的生活經歷曲折反覆，這些情況反映在方以智的頭腦中，便形成這樣一種具有獨特面貌的哲學。