在亨利·克萊的讓步之下，南方奴隸主的勢力大增，其中的一些人失望之下甚至退出了國會。
而陳默對這其中的一個人卻是非常感興趣，所以，扎卡里·泰勒當選總統之後不久，在亨利·克萊的多次邀請之下，陳默最終也以一個銀行家的身份加入了輝格黨，並且憑藉着雄厚的財力和豪爽的氣度資助了很多因反對奴隸制而受到排擠的輝格黨成員，在黨內的聲望迅速提高。
亨利·克萊對黨內關於奴隸制的爭論並不是太在意，他對南方奴隸主妥協也不過是爲了獲得他們的支持，贏得他們手中的選票，進而實現他建立私有中央銀行的目標，所以對於陳默這個大資本家反對奴隸制度並沒有什麼奇怪。
至於陳默大肆資助輝格黨人，這也正是他所希望的。
只有輝格黨人強大了，他才能夠掌控更加強大的力量，而陳默不斷上升的聲望也並沒有讓亨利·克萊感覺到威脅。
因爲陳默支持的反對奴隸制的輝格黨人其實只佔據了黨內的一小部分而已，而且大多還都是一些沒什麼背景底蘊，實力較弱的青年成員，輝格黨真正的核心，在國會和各州中擁有巨大威望和影響力的精英成員還是緊緊圍繞在他的身旁，以他馬首是瞻。
他們中的相當一部分人雖然也反對奴隸制，但由於自身的實力和影響力，並沒有像那些沒有背景的年輕輝格黨人那麼飽受排擠，加上亨利·克萊的刻意拉攏安撫，倒是並沒有因爲他在奴隸制問題上的妥協而和他離心離德。
所以整個輝格黨還是牢牢地掌握在亨利·克萊的手中，陳默的行爲在他看來只是對與他持相同政見觀點的黨內同胞的支持幫助而已，他並沒有跟那些黨內的核心成員有太多的利益交集，也就絲毫不會威脅到他在輝格黨內的地位和對整個黨派的掌控。
所以對於陳默資助黨內低級青年成員的做法，亨利·克萊樂見其成。
而那些飽受排擠，對輝格黨心灰意冷而退出國會的年輕成員們更是受到了陳默的大力支持，陳默出資幫助他們回到各自所在的州，他們或繼續在自己所在的州從事政治活動，抵制奴隸制的擴張，或暫時蟄伏，等待時機。
而這其中，便有一人暫時退出國會，重操舊業，在陳默的資助下回到家鄉開了一間律師事務所，重新當起了律師。
不過跟其他離開的大部分人一樣，他雖然暫時蟄伏，卻並沒有放棄宣揚自己的政治理念，仍然熱心投身於公共事業，個人聲望也在不斷鞏固和提高。
這些離開國會，遠離了美國權力中心的青年政治精英們和輝格黨內其他人員，特別是黨魁亨利·克萊的聯繫變得很少，但他們卻始終保持着和陳默之間的聯繫，他們擁有共同的信仰和理念，並且受到陳默的資助、支持和鼓勵。
在陳默的影響下，他們堅信奴隸制的廢除勢在必行，南北之間終有一戰，如今的暫時蟄伏只是爲了未來關鍵時刻的爆發，他們的目標終將實現！
這羣並不被亨利·克萊看重，甚至爲了贏得南方奴隸主的支持而坐視他們被排擠，卻不聞不問的青年黨人，儼然已經和陳默構成了一個新的小集團，而這個集團的中心便是給他們提供經濟和信念支持，併爲他們指明瞭未來道路的偉大資本家，陳默！
不只是從國會中離開的青年政治精英們，越來越多因爲南方奴隸主勢力越來越大，而飽受排擠的反對奴隸制的輝格黨成員，都加入了這個小圈子中來，在陳默的支持和安撫之下，靜靜地蟄伏了起來。
他們所有人，包括在背後支持着他們的陳默，都在等待着時機的到來。
至1852年，第十四屆總統選舉，贊成與反對蓄奴的輝格黨員的分裂徹底顯現了出來。
之前在扎卡里·泰勒“死”後接任總統的原副總統米勒德·菲爾莫爾由於在南北問題上的一貫妥協，引起了輝格黨內很多反對蓄奴者的不滿，這些人的力量足以使他直接失去獲得黨內提名的機會。
最終，鑑於前兩次競選的勝利，亨利·克萊企圖重演之前的勝利，再次提名了一位戰爭英雄溫菲爾德·史考特將軍爲總統候選人。
不過神秘的華夏古國有句老話，再一再二不可再三，這一次，輝格黨迎來了徹徹底底的巨大失敗在當時美國聯邦三十一個州中，只贏得了四個州的選票，以絕對的劣勢慘敗，黨內衆人紛紛感嘆輝格黨完了。
而就在競選期間，還發生了一件大事，輝格黨的創始人與領導者，亨利·克萊去世了，那些仍然緊緊圍繞在他身邊的支持者們瞬間失去了主心骨。
沒有了亨利·克萊在中間協調運作，各種各樣的問題和矛盾都展現了出來。
中央銀行的問題，奴隸制的問題，讓輝格黨內的矛盾不斷加深，很快便成了一團散沙，各自爲政，輝格黨名存實亡。
而這時，團結在陳默身邊的那一羣青年政治精英們倒成了一股團結而強大的力量，只不過相比於原本的輝格黨和民主黨，他們還是非常弱小。
但是，在輝格黨逐漸衰落的同時，以陳默爲中心的這個小團體卻在逐漸變強，越來越多的反對奴隸制的輝格黨人加入了進來，甚至包括那些在國會中擁有一定影響力的原輝格黨核心成員。
畢竟，政治還是一個集體的遊戲，沒有了強大的輝格黨爲後盾，他們在國會的日子也不好過，來自黨內和黨外支持蓄奴者的共同攻擊和打壓，更是讓他們急於尋找一個新的團體，共同抗敵。
而這時候，早就已經抱成一團，團結互助，在如今分崩離析，成爲一盤散沙的輝格黨內具有絕對優勢力量，並且一直堅持和他們相同的理念的陳默集團便成爲了他們最好的選擇。