袁术听说吕布得了徐州，心里打着小算盘，决定以五万斛粮、五百匹马、一万两金银、一千匹彩缎作为交换条件，使其夹攻刘备。
吕布本来就是个势利小人，看到这么多物资，二话没说就让高顺带领五万兵马去追击刘备去了。
玄德听到这个消息后，趁着阴雨天视线不好，偷偷放弃了盱眙，准备向东攻取广陵，也就是现在的扬州。
高顺带兵来到的时候，玄德已经离开，见到纪灵之后，就向纪灵索要袁术承诺的物资，纪灵说：“高将军，请你先回去，等我向主公汇报后再答复你。”
高顺被打发返回后，把纪灵的话向吕布讲了一遍。
吕布正在迟疑中，忽然手下报告说袁术的书信到了。
信上说：“高顺虽然跑去盱眙攻打刘备，但是刘备一根毛都没掉，实力没有任何损失，所以这次不符合兑换承诺的条件。只要你能捉了刘备，我一定会把承诺的东西送到。”
其实吕布早就知道袁术是个卑鄙小人，却没想到今天应到了自己身上，气得大骂袁术小人，准备起兵讨伐。
陈宫建议说：“不能起兵。袁术盘踞之地寿春，兵多粮广，物资丰富，千万不可轻敌。我看不如请刘备回来，让他屯兵小沛作为我们的羽翼。时机成熟以后，可以让刘备做先锋，那时可以先取袁术，后取袁绍，我们就可以纵横天下了。”
吕布按照陈宫的说法，修书一封给刘备送去。
玄德东取广陵并不顺利，又被袁术劫寨，损兵大半，正发愁无处可去之时遇到了吕布的使者。
刘备看到信后，心中盘算现在无论如何得找个屈身之地，决定要忍下一切难忍之事，于是马上安排返回徐州。
关羽、张飞却说：“大哥，吕布是个卑鄙小人，无情无义，千万不要信他啊！”
玄德说：“他既然好心好意地邀请我们回去，我们干嘛要怀疑呢！你们不要再说了。”
回到徐州后，吕布派人送上了玄德的家眷。甘、糜二位夫人见到玄德后把吕布派人守住宅门，禁止闲杂人等进入的事给刘备说了。
刘备对关羽、张飞说：“你看，我就知道吕布不会害我的家眷。”
刘备决定进城向吕布致谢。
张飞打心底里恨透了吕布，说什么也不愿意进城，就带着两位嫂子向小沛去了。
玄德见到吕布后，表达了感谢之意。
吕布脸皮厚，倒是很愉快的接受了。很快，他又意识到毕竟夺了人家的城池，于是说：“贤弟啊，不是我非要夺你的城。实在是因为你三弟张飞酒后失德，肆意打骂官员，我担心城池有失，这才替贤弟你来守城。”
玄德说：“兄长，你不用多说，我本来一直就想把徐州让给你。”
吕布仍假情假意地做出让徐州的架势，玄德坚决不接受，然后就去小沛驻扎了。
关羽和张飞心中愤愤不平，难以平静。
玄德说：“这个情况下，我们要委曲求全，耐心地等待天时，时机未到，不可强求。”
吕布派人送来粮米缎匹等一应物资。
表面上看起来宾主尽欢，谁也没有提起之前的矛盾。
吕布心里不禁发出感慨，刘备是个真君子，受如此大辱却平静如水，可敬可佩。
其实，吕布更应该觉得刘备可怕才对。