萧瑀、屈突通、封德彝都认为：“我军疲惫不堪士气低落，王世充凭借坚城固守，不容易很快攻克，窦建德挟胜利之势而来，士气高涨锐不可挡，我军腹背受敌，不是好办法，不如撤退保守新安，以便等待时机。”
李世民说：“王世充损兵折将，粮食吃尽，上下离心，我们不必花气力攻打，可以坐等他败亡。窦建德刚刚打败了孟海公，将领骄傲，士卒疲惫，我们占据虎牢，等于扼住他的咽喉。他如果冒险决战，我们可以轻而易举打败他；如果他犹豫不决，不来交战，要不了十天半个月，王世充自己就会溃败。破城后兵力增强，士气军势自然倍增，一下打败两个敌人，就在这一仗了。如果不迅速进军，窦建德进入虎牢，周围各城新归附，必然不能坚守；两敌合力，势力必然强大，怎么会有机可乘呢？我的计划决定了！”
屈突通等人又请求解除洛阳之围，凭借险要以观敌人变化，李世民不答应。于是将军队平分为两部分，由屈突通等人辅助齐王李元吉围困东都，李世民率领三千五百名骁勇向东赴虎牢。
李世民于正午时分出发，过北邙，至河阳，取道巩县而去。王世充登上洛阳城望见唐军行动，不知唐军意图，竟不敢出城交战。
癸未（二十五日），李世民进入虎牢。甲申（二十六日），带领五百骁骑，出虎牢，到城东二十多里处，观察窦建德的营地。沿路分别留下随行的骑兵，让李勣、程知节、秦叔宝分别统领，埋伏在路旁，只带四名骑兵和他一起前去。
李世民对尉迟敬德说：“我拿着弓箭，你手握长枪跟着我，就是来一百万人又能拿我们怎么样？”
又说：“敌人看见我就返回，是上策。”
离窦建德营地三里处，李世民等与窦建德的游兵相遇，游兵以为他们是侦察敌情的斥候。
李世民大喊：“我是秦王。”拉弓射箭，射死对方一员将领。
窦建德军中大为惊慌，出动五六千骑兵追赶，跟随李世民的人都吓得变了脸色。
李世民说：“你们只管在前面走，我自己和敬德殿后。”
于是，勒住缰绳慢慢走，追兵快赶上了就拉弓放箭，每射一箭都杀死一人。追兵惧怕便停止了追击，停一会儿又重新追赶，几次三番，每次追赶上必定有人被杀死，李世民先后射杀了几个人，尉迟敬德杀死十几人，追兵不敢再进逼。
李世民有意徘徊或稍稍后退引诱追兵到埋伏圈内，李世绩等人就奋力战斗，大败追兵，斩首三百多级，俘获窦建德的将领殷秋、石瓒返回虎牢。
于是，李世民致函窦建德，说明：“赵、魏地区，历来为我大唐所有，现被您侵夺，只因为淮安王被俘受到您的礼遇，又蒙送回同安公主，所以彼此真诚相待放弃旧怨。王世充最近与您修好，但已有多次反复，现在王世充的灭亡就在眼前，却花言巧语引诱您，您于是就率领三军之众，来听从调遣，千金的军费，白白为别人而消耗，实在不是上策。如今与您的前哨相遇，他们不堪一击，您与王世充还没能相见，能不心中有愧吗？我所以稍挫您的锐气，是希望您能听从善意的劝告，如果您不听，恐怕将会后悔莫及。”
四月，唐益州行台左仆射窦轨率领巴、蜀兵马前来与李世民会师攻打王世充。
窦建德在虎牢受阻不能前进，停留了一个多月，打了几仗都未能取胜，将士们人心思归。
丁巳（三十日），李世民派王君廓率领一千多轻骑抢夺窦建德的运粮队，再次打败了他，并俘获窦建德的大将军张青特。
凌敬对窦建德说：“大王您不如出动全部兵力渡过黄河，攻取了怀州、河阳，派重将守卫，又擂响战鼓竖起战旗，翻越太行山，进入上党，略地汾州、晋州，奔赴蒲津，这样做有三点好处：一是进入无人之境，取胜可以说是万无一失；二是开拓了领士召收兵马，国势更加强盛；三是关中的唐军受震骇，郑国洛阳之围自然会解除。眼下的计策，没有比这更妥当的了。”
窦建德准备按照凌敬的建议行事，但是王世充连续不断地派人来告急，王琬、长孙安世也日夜哭泣，请求窦建德援救洛阳，又暗地里用金玉收买窦建德手下的将领，阻挠凌敬的计划。诸将都说：“凌敬是个书生，哪里懂得打仗的事，他的话怎么能听呢？”
于是，窦建德向凌敬道歉说：“现在大家士气很高，这是上天在帮助我，趁此机会决战，必定能大胜，不能照您的意见办了。”
凌敬再三争辩，窦建德不高兴，命人把他架了出去。
窦建德的妻子曹氏对他说：“祭酒凌敬的话不能不遵从。现在大王从滏口趁唐国空虚，连营渐进夺取山北并、代、汾、晋等地，又借助突厥的军队向西抄掠关中，唐军必然回师自救，还用担心郑国的东都之围不解吗？如果在此地停顿不前，磨灭了士气，消耗了财力，要想成功，就没有日期了！”
窦建德说：“这不是女人能懂的！我来救郑，郑如今处境很危急，就要亡国，我弃他而去，是畏惧敌人而背信弃义，不能这么做。”
事实上，李渊家族就在山西，而窦建德和他带出来的都是河北兵，没有洛阳王世充这个据点，师出无名不说，这等消耗又没有补充。这里，相信窦建德的判断。
窦建德从荥阳西上，筑营垒在板渚，李世民驻军在武牢，两军对峙二十多天。
探听消息的人报告道：“窦建德探听到我军牲畜的饲料已尽，等候在黄河北岸放马吃草时，趁机偷袭武牢。”
李世民知道他们的阴谋，于是放马在黄河北岸吃草来诱敌。
五月戊午（初一），李世民向北渡过黄河，从南面逼进广武，侦察敌情，乘机留下一千多匹马，在黄河边放牧以引诱窦建德，当晚返回武牢。
己未（初二），窦建德果然倾巢而出，从板渚出牛口列战阵，北靠黄河，西临汜水，南连鹊山，连绵二十里，擂鼓前进。