再说袁术看见刘备不费片甲就得到了徐州，那可真是眼红啊，于是来进攻刘备，以争夺徐州。刘备派司马张飞守下邳，自己率军到盱眙、淮阴一带抵抗袁术。两军相持一下多月，各有胜负。下邳国相曹豹，是已故徐州牧陶谦的旧部，与张飞关系不好，被张飞杀死，下邳城中大乱。袁术写信给吕布，劝他袭击下邳，应许援助军粮。吕布大喜，率军水陆并进，向东袭击下邳。刘备部下的中郎将、丹阳人许耽打开城门，迎接吕布。张飞兵败退走，吕布俘虏了刘备的妻子儿女以及官员、将领们的家属。刘备听到消息后，率军回救，到达下邳后，全军溃散。刘备收拾残部，向东攻取广陵，与袁术交战，又被打败，退守海西。军中将士饥饿不堪，只好自相残杀，以人肉充饥。从事、东海人糜竺命出家中财产，资助军费。刘备向吕布请求投降。吕布也正忿恨袁术运粮中断，于是召刘备前来，又委任他为豫州刺史。吕布要与刘备一起进攻袁术，让刘备驻军小沛。吕布自称徐州牧。刘备也是大意，养了吕布这白眼狼，但吕布更糊涂，你把刘备的徐州占了，刘备能不记恨你吗？故后有白门楼事故
吕布的部将河内人郝萌叛变，乘夜进攻吕布，吕布未戴冠帽，袒露衣衫，逃到都督高顺营中，高顺立即率军入府讨伐郝萌，郝萌战败逃走。到天明时，郝萌部将曹性斩杀郝萌。
袁术害怕吕布危害自己，就为儿子向吕布女儿求婚，吕布答应了。袁术派遣部将纪灵等率领步、骑兵三万进攻刘备，刘备向吕布求救。吕布属下的将领们对吕布说：“将军一直想杀刘备，这次可以借袁术的手来实现。”吕布说：“不然。袁术如果击溃刘备，就可以向北联络泰山的诸将领，我就将陷入袁术的包围之中，因此不能不救刘备。”吕布便率领步、骑兵一千余人急速赶赴刘备处。纪灵等听说吕布前来，都收兵回营，停止攻战。吕布驻军沛城西南，派遣侍卫去请纪灵等人，纪灵等也派人来请吕布，吕布就前往纪灵营中，邀请刘备一起赴宴。吕布对纪灵等人说：“刘玄德是我的弟弟，被你们围困，所以我来救他。我生性不喜欢聚合别人争斗，只喜欢化解别人的争斗。”于是命令军官把铁戟竖立在营门，吕布拉满了弓，对旁观的人说：“你们看我射戟头旁边的戟支，如果射中，你们就各自罢兵，如果不中，你们可以留下厮杀。”吕布随即射了一箭，正中戟支。纪灵等全都大吃一惊，说：“将军真是天赋神威！”第三天，又设酒欢宴，然后各自班师。辕门射戟的故事家喻户晓，古人打仗，弓马娴熟是最重要的，吕布这弓耍得比那被罗贯中捧出来的黄忠可要高多了！而且看吕布一番话，也可见他不是一个只有蛮勇的人！不过此话极有可能是陈寿自编的，不过编得合情合理，我只不过给翻译了一下！
袁术退兵后，刘备获得了喘息之机，就加紧招兵，终于集合起了一万余人的部队。吕布看见刘备人多了起来，认为受到了威胁，就亲自出兵攻打刘备。刘备败走，投奔曹操。曹操对他的待遇十分优厚，又让朝廷任命他为豫州牧。有人对曹操说：“刘备有英雄大志，如今不趁早除掉他，必然会有后患。”曹操为此征询郭嘉的意见，郭嘉说：“这种说法是对的。但是，您兴起义兵，为百姓除暴，诚心诚意地招募天下英雄豪杰，还惟恐他们不来。如今刘备有英雄之名，因走投无路前来投靠，而您却杀掉他，这将会使您得到谋害贤才的恶名。果真如此，有才智的人士将各自疑虑，改变心意，另选主人，您还去和谁一起平定天下！因除去一个人的祸患，而失去天下人的期望，这是关系今后安危的关键，您不可不仔细考虑。”曹操笑着说：“你分析得很对。”于是拨给刘备一些军队，供应粮草，让他往东到小沛一带，集合被击溃的残部，与吕布对抗。
这里我要说明一下，三国演义说当初刘备把小沛给吕布屯兵，这点史书上没提到，但后来吕布把小沛给刘备屯兵这点三国志上却是明确提出的。还有郭嘉的那段话在三国志中是没有记载的，但裴注引魏书提出了上述的观点，但同时裴注引傅子去提出了截然相反的观点：“初，刘备来降，太祖以客礼待之，使为豫州牧。嘉言于太祖曰：“备有雄才而甚得众心。张飞、关羽者，皆万人之敌也，为之死用。嘉观之，备终不为人下，其谋未可测也。古人有言：一日纵敌，数世之患。宜早为之所。”是时，太祖奉天子以号令天下，方招怀英雄以明大信，未得从嘉谋。会太祖使备要击袁术，嘉与程昱俱驾而谏太祖曰：“放备，变作矣！”时备已去，遂举兵以叛。太祖恨不用嘉之言。”因为资治通鉴采用的是魏书的观点，所以我这里也采用魏书所说。所以，郭嘉之言史书记载本身就是有争议的，现在的挺郭派如果以此为郭嘉聪明才智的论据之一，恐怕论据不太充分！
袁术想结好吕布作为外援，于是派遣使者韩胤把自己称帝的事告诉吕布当时袁术刚称帝，第一时间就把此事告诉吕布，看来他对吕布还是蛮重视的，并要求为儿子迎娶吕布之女，吕布同意了，让女儿随韩胤回寿春。沛相陈珪担心吕布与袁术联合，灾祸更难平定，就去劝说吕布：“曹公奉迎天子，辅赞国政，威灵命世，将征四海，将军宜与协同策谋，图太山之安。今与术结婚，受天下不义之名，必有累卵之危。”吕布也怨恨袁术当初不肯接纳自己。吕布的女儿已随韩胤上路，吕布便将她追回来，拒绝了婚事，并给韩胤戴上型具送到许都。韩胤在许都街市上处斩，他的人头被挂起来示众。