但有人並不這麼認爲，覺着既然說出了口，就得遵循，否則豈非成了背信棄義的小人，再者，李密入朝之後，他底下的將領也會在朝爲官，可以將之逐一瓦解分，如此一來，李密孤身一人，又能掀起什麼風浪來；不費一兵一卒而滅掉李密，遠遠要好過動刀動槍，畢竟除了李密，還有李淵、竇建德等人虎視眈眈，這兵力浪費不得；這一派，以元文都爲首。
王世充對此自是不同意，李密就如一頭狼，一旦引狼入室，想再趕出去可就難了，而且……元文都究竟是真的想用這個懷柔政策對付李密，還是想趁機勾結李密來對付他，還是未知之數。
雖然他與元文都都是輔助楊侗的，卻互不對照，要不是他握着兵權，洛陽城還需要他來守，元文早就對付他了；一旦李密入城，那元文都就等於多了二十萬大軍，到時候，只怕自己的地位就沒如今這麼穩固了；出於這種種考慮，王世充堅決不同意讓李密入城。在這樣的僵持下，一個人站在了元文都那一邊，令事情發生了傾斜，此人就是楊侗。
雖然後者只是一個沒多大實權的皇帝，但畢竟是皇帝，他都支持了元文都，就算是他王世充，也不好明着幹。
就在所有人都以爲李密入城已是鐵板釘釘之時，王世充在洛陽發動軍事政變，誅殺元文都等人，如此一來，掌握在他手中的，就不僅僅只是軍權了，有政權，就連楊侗也被他軟禁在宮中，整個洛陽城皆被他掌握於手中，而李密入城一事，也徹底斷了希望。
經過連番大戰，李密大軍已是極爲疲憊，迫切需要入城休養生息，可偏偏王世充就是不肯開門，所以雙方又回到了原先的情況，一方圍攻洛陽，一方死守洛陽。
在王世充與李密僵持之時，李世民亦回到了長安，離開之時，是十萬大軍，回來卻只剩下七萬餘人，至於洛陽，也不曾攻下。
在向李淵稟明這一路的情況後，李世民跪下道：“兒子不僅未替父親攻下洛陽城，還因大意中了王世充的圈套，令衆多一路隨我們從太原打過來的士兵葬身於洛陽城外，兒子實在罪該萬死，請父親治罪。”
劉文靜也來了，聞言連忙跪下道：“啓稟唐王，這一切皆是文靜大意之故，被王世充識穿了身份還茫然不知，唐王要罰，就罰文靜，不要怪二公子，這次要不是二公子沉着應對，恐怕傷亡會更加嚴重。”
李淵望着跪在面前的二人未語，站在他身邊的李建成道：“父親，這件事實在怪不得二弟與劉先生，誰也想不到，洛陽那方面竟然會與李密聯手，利用李密去對付宇文化及；士兵認出劉先生，更是意外中的意外，實在怪不得世民。”
李淵亦知李世民此行不易，本就沒有深究之意，再加上李建成從旁求情，輕責幾句就命他們二人起身，旋即嘆道：“如今洛陽城有李密襄助，不吝於如虎添翼，看來短時間內，咱們是沒機會攻下洛陽了。”
李建成恭聲道：“啓稟父親，兒子剛剛接到急報，李密並沒有入城。”
李淵尚不知此事，驚訝地望着李建成，待得聽後者說完之後，眉眼間的驚訝之意更甚，“你是說……他將越王軟禁了起來？”雖然王世充等人擁立了楊侗爲帝，但李淵他們還是將之稱爲越王，畢竟長安的皇帝是楊侑。
“不止如此，這是兒子安插在洛陽的探子所傳回，應該屬實。”頓一頓，李建成又道：“恕兒子直言，看王世充的樣子，恐怕是想自立爲帝，畢竟楊廣已經死了，如今連能夠牽制他的元文都也死了，廢掉越王，對他來說，是輕而易舉之事。”
李淵頷首道：“以王世充的心思，這不是不可能之事。”思忖片刻，他道：“從現在開始，盯緊洛陽，有任何消息就立刻稟告於我，不得延誤。”
待得李建成答應後，李淵望着李世民二人道：“你們這一路回來，也辛苦了，都下去歇着吧，過兩日再商議接下來的事情。”
待得李世民二人下去後，李建成眸光微閃，湊近了道：“父親，其實楊廣已經死了，楊侑又什麼都不懂，根本擔負不了天下興亡安危，您何不……取楊侑而代之！”
“放肆！”李淵厲聲斥道：“我李家世代深受皇恩，豈可做出如此行爲。”
“恕兒子直言，楊氏一族，雖於我李氏有恩，但父親做到今日這一步，什麼樣的恩情都還了，根本就不欠楊氏什麼；相反，楊廣在位以來，倒行逆施，犯下無數大罪，楊家早就已經沒資格成爲天下之主，父親取代而之，乃是順應天命！”
“如今尚且無楊氏之外的人稱帝，一旦爲父取陛下而代之，就會成爲衆矢之的，對我們百害而無一利。”其實李淵並非不想做皇帝，只是……皇帝這個位置，不是那麼好坐的，想要坐穩，一點都不易，必須得三思再三思。
“可是王世充他……”李建成剛說了幾個字，便被李淵打斷，“爲父知道你想說什麼，不錯，王世充是軟禁了越王，但他畢竟沒有稱帝，所以，且先看着吧，總之咱們萬萬不可當最先的那隻出頭鳥，明白嗎？”
李建成雖猶有不甘，卻也知道李淵說得是實情，只得道：“兒子明白。”
李淵點一點頭，道：“你去安撫那些受傷的士兵，每人發米三鬥，錢兩貫；至於死去的士兵，若能找到家人的，一律發米五斗，錢三貫；如今隨時都有可能用兵，萬不能讓士兵們寒心。”
“兒子知道，若父親沒別的吩咐，兒子下去了。”在李淵點頭後，李建成退出了書房，一到外面，便看到李世民站在外面，驚訝地道：“二弟，你怎麼還在這裡，有事情嗎？”
李世民走上來道：“剛纔多謝大哥替我說話。”