且说项羽为平定齐地叛乱，把精兵强将全都带走了，留在后方的，不仅人数寥寥，而且全是老弱之卒，如何抵挡得住几十万联军的进攻？所以联军一到楚国地界，如入无人之境，不几天就攻入彭城。
刘邦本是个好色之徒。当初攻入咸阳时，只因有楚军的威势，又有樊哙、张良等人的强谏，所以未敢造次。如今占领了楚霸王项羽的都城，自认为已无敌于天下了，可以尽情享乐了，所以项王宫中的珍宝美女，尽归己有。乐曲伴着歌舞，酒香伴着狂欢，日夜不断，宫中乌烟瘴气，杯盘狼藉。进攻彭城的本是五国联军，缺乏统一指挥和纪律约束。那些兵士们见总头领刘邦只顾玩乐，也就趁机闯入民舍，奸淫抢劫，无所不为，整个彭城人马杂沓，一片混乱。
彭城溃卒奔至齐地城阳，把彭城失守、刘邦率五国联军在城中的所为告知项羽，气得项羽暴跳如雷。他留下部分楚军继续在齐地作战，自率精兵三万，日夜兼程回兵救彭城。同时遣使通告九江王英布，令其火速发兵援助。
项羽在前往彭城途中，看到从彭城中逃出的难民络绎不绝，越接近彭城，难民越多，简直把道路都堵塞了。项羽想象着城中的惨状，恨不得让坐骑飞起，立刻赶回彭城，与九江王英布前后夹击，消灭汉军，斩杀刘邦。正在此时，使者前来报告说，九江王身体不适，不能率军前来。项羽一听，肺都气炸了，骂道：“什么不适，分明也想叛乱。待我打败了汉军，再找他算账！”
项羽率领的本来都是能征惯战的精兵强将，且这些兵士大都是楚人。他们得知家乡被敌军占领，父老乡亲惨遭蹂躏，个个义愤填膺，怒火万丈。他们出鲁县，过胡陵，很快就进至萧县，击溃联军左翼，切断联军归路，然后跟踪溃逃的联军，追至彭城城下，准备由西向东发动进攻，一举将联军歼灭。所以项王没有顾得上休整，清晨就向彭城发动了进攻。
早被胜利冲昏了头脑的五国联军，哪里想到远在几百里之外的楚军会这么快就来呢？所以城门没闭，关没设防，仅经半天战斗，彭城就被楚军收复。连日寻欢作乐的刘邦和他的将士们，被楚军打了个措手不及，被迫退到城东北的谷水和泗水的交汇处。前有滔滔的河水，后有紧追不舍的楚军。船少人多，抢渡不及，被歼及落水而死者十余万，余部争往彭城西南的山区溃逃。楚军哪肯放过，直把溃逃的联军追到灵璧（在今安徽东北、沱河下游）以东的睢水边上。楚军再次发动攻击，联军只好跳水逃命。因水深流急，人多拥挤，大多数兵士又不习水性，结果又使十余万人葬身鱼腹。
再说汉王刘邦经过一夜的寻欢作乐，早已疲惫不堪。当他被喊叫声惊醒时，楚军已将他临时下榻的项王王宫层层包围，将士们也早被楚军杀散，无人为他解围。刘邦只好率领几个随从，冒死冲出王宫，捡条小路逃命。他没走多远，忽见一队楚兵追来，他定睛一看，见领兵将领是楚将季布。这季布骁勇善战，总是冲锋陷阵，一马当先，几次险些将刘邦斩首。刘邦想，我今日定要死在季布手下了。正在这生死攸关之时，突然刮起一阵狂风，飞沙走石，天昏地暗，楚军顿时大乱。失魂落魄的刘邦趋着狂风，一行人落荒而逃。不料刚逃了一段路程，又被一队人马拦截。为首的将领骑着战马，手举大刀，正要朝刘邦劈来，刘邦定睛一看，认出那是季布的异父同母兄弟丁公，连忙道：“难道我们两位好汉也要相互厮杀吗？”丁公听了这话，果然拨马而回，将刘邦放走。他万万没有想到，就是这一放，为他招来了杀身之祸——此是后话，暂且不提。
已是日落西山，夜幕降临，刘邦饥寒交迫，疲惫不堪。见后面已经没有楚军追赶，便带着随从，来到一个小镇住宿。镇上一姓戚的老翁见刘邦一行神色仓皇，问清缘由，便主动招呼村民，安置这一行人的食宿，他自己则腾出一间屋子，让刘邦住下。原来这戚氏也是镇中殷实之家，老翁在村民中德高望重。前些年，本村遭秦兵抢劫，损失最惨的，自然要数戚家。那时老翁就想组织家乡百姓，揭竿举义，无奈年事已高，力不从心，家中又有娇妻幼女，一时舍弃不下，就忍了下来。后来听说离家乡不远的沛地杀出了个沛公刘邦，心想，这定是个奇人，便暗暗祈祷，祝刘邦早日得胜，使百姓安居乐业。事隔几年，秦朝已被推翻，他只听到了霸王项羽衣锦还乡的消息，却没听到沛公刘邦的音信。却万万没有料到，自己心目中的英雄，今天竟像丧家之犬般地出现在他的面前。细心的老翁把刘邦领到家中，用丰盛的酒饭热情招待。逃奔了一天的刘邦，早就饥肠辘辘，也顾不了什么做客之礼，只管大口吞食。待酒足饭饱，疲劳解除，脸面又透出了红光，便与陪侍的老翁攀谈起来，述说当日起兵的大志、西行入关的艰辛、鸿门之宴的险情、屈就汉中的抱负、出关破楚的宏愿。当说到彭城败绩时，不免声泪俱下。戚氏老翁见刘邦虽新吃败仗，眉宇间却透出一股英雄气，虽叱咤风云，千里转战，心中仍时时想着老父、妻子，也不失为一有情男子，便安慰道：“自古论事易，做事难，成事更难，岂可为一时失败而伤心。常言道‘大丈夫生当雄飞，不可雌伏’‘三军可夺帅也，匹夫不可夺志也’。大王只要振作精神，重整旗鼓，大业终成。至于大王的家人，着实令人挂念。但身处此境，挂念又有何用？老夫有一小女，尚未嫁人，大王若不嫌弃，可令其侍奉。”
刘邦闻听，喜出望外，待那小女被老翁呼出，袅袅婷婷地站在面前时，更是为之所动。原来那姑娘二十岁上下，明眸皓齿，丰姿秀逸，光彩照人，虽是在农家长大，却显得那么文静娴雅、仪态端庄。刘邦真是求之不得，因此亲自为老翁斟酒，当即改称“老丈”，愿纳戚氏为妾。刘邦后来做了皇帝，这戚氏也就被封为夫人，还为刘邦生了个儿子，名叫如意。戚氏满以为可以荣华富贵，却被刘邦的原配夫人吕雉置于死地——此是后话不提。
且说刘邦从轻歌曼舞的项王宫中逃出，又坠入戚氏的温柔之乡，竟忘记了项王仍在日夜对他追索。刚过两日，忽报楚军赶到，刘邦只好怀着依依不舍的心情，告别戚氏，继续逃奔。出村不远，忽见左方车声隆隆，尘土飞扬，急忙逃进林中躲避，待车马渐近，方认出是部将夏侯婴，才从林中出来。原来夏侯婴已被汉王封为滕公，兼职太仆，掌管王车。彭城战败，刘邦舍车乘马，仓皇逃脱。夏侯婴只好保着空车，冲出重围，盲目地行了几日，没想到今日在荒郊野外，重又遇上汉王。他慌忙拜见，并将汉王扶上王车，继续朝西驶去。
走了不多时，驾车的夏侯婴忽见两个衣衫褴褛的幼童夹杂在逃难的行人之中，顿生怜悯之情。又一细看，似是汉王的一双儿女。汉王闻报，下车辨认，果然不错，立即将两个孩子抱上王车，细问情由。长女哭诉道：“前些天一个夜里，我们正在熟睡，突然被娘叫起，跟着爷爷跑出村子。同时跑出的还有村中的许多人。天明后，一伙骑马的迎面闯来，抓走了不少人，爷爷与娘从那时也就不见了。”
刘邦听了，心想，老父与妻子定是被楚军掳走。又想到两个年幼的孩子离开大人，四处飘零，一定吃了不少苦头，而这期间，自己却在项王宫中寻欢作乐，后又与美女戚氏难舍难分。想到这些，不免有些内疚。谁知刚走了一段路程，又有一队楚兵追来。刘邦担心车重行驶不便，就将两个孩子推到了车下。夏侯婴见势，急忙将孩子抱起。如此再三，刘邦急道：“情势危急，只顾孩子，连我们的性命也会搭上。”夏侯婴道：“大王的亲生骨肉，就是将我们的性命搭上，也不能眼睁睁地舍弃啊！”刘邦听了，不再言语。这幸免于难的两个孩子，便是日后的鲁元公主和太子刘盈。
刘邦逃奔多日，终于来到妻兄吕泽屯兵的下邑（今安徽砀山），方得一安身之地。在彭城失散的汉军诸将打听到刘邦的下落，又相继赶来，重新集结，辗转来到荥阳，重整旗鼓，以图再战。
彭城一战，几十万联军被打得落花流水，损失最惨重的当数汉军。究其原因，是联军兵士虽众，却是由几路诸侯军临时凑合而成，未能形成强有力的统一指挥。其次是刘邦攻占了楚霸王的都城，就以为大功告成，日日恣意享乐，思想上解除了武装。殊不知项羽力量的重心在军队，而不在彭城。又遇上项羽回兵果断，行军迅速，打了联军个出其不意。此时汉军诸将却不是这般认识，而是把彭城失败的罪责一股脑儿推到陈平的身上。刘邦见彭城一战，损失了那么多人马，又听到诸将种种议论，也对陈平产生起怀疑。可是细想起来，也找不出陈平的差错，只好把魏无知找来，盘问陈平的品行。一来了解一下陈平的确实底细；二来也做给诸将看看，平平他们的怨气。
其实对汉军诸将的议论，魏无知早有耳闻。现在汉王又当面问起，便直言不讳地答道：“大王关心的，是陈平的个人品行，而我向大王举荐的，是他的才能。古语说‘相马以舆，相士以居’。在这群雄逐鹿之时，须选用智谋超群、遇事能随机应变之人。传说有个叫尾生的男子答应在桥下与一个女子会面，后来山水下来，他信守诺言不肯离去，最后抱桥柱溺亡。商王武丁的儿子孝己憨厚老实，最后被狡诈狠毒的王后陷害致死。要论尾生、孝己的品行，无可挑剔，但能让这样的人帮助大王出谋划策吗？至于陈平与其嫂私通之事，纯是无稽之谈。退一步说，即使真有其事，用他做谋士又有何妨？大王没听人说吗，用人如用木，求士莫求全。应该因其材而取之，审其能而任之。取士之道，古难求全，只能用其所长，掩其所短。当今之世，首先要看其才干。”
刘邦听了，觉得魏无知说的在理。心想，若论起个人的品行，自己还比不上陈平呢，不是照常为三军统帅吗？不过他对陈平朝秦暮楚的行为确实有些想法。于是把陈平召来，当面问道：“听说你最初侍奉魏王，后来又改奉楚王。现在又离开楚王，与我共事。真的是这样吗？”
“是这样。”陈平坦然答道，“我本是魏人，最初侍奉魏王，也是情理中的事。可是魏王鼠目寸光，胸无大志。当时天下诸侯竞相反秦，楚军又是抗击秦军的中流砥柱，所以我就离开魏王，投奔了楚王。我满以为在楚王帐下，能实现自己的抱负，谁知项王这人只信任他们项家的人，他妻子的兄弟虽然很有才干，也不被重用，更不把我这个外乡之人放在心上，甚至把殷王降汉的罪名无端地加在我的头上。正因为如此，我才又离开项王，来到大王这里。”
“听说先生来到汉军后，收受下我部下不少贿赂？”刘邦问。
“说贿赂，也算是吧。”陈平说，“不过我觉得给我送钱物的人全是好意，是可怜我的艰难处境。我在楚军中多年，并无多少积蓄，从楚军中逃出时几乎是赤身裸体，过河时，正因为船工看到我身上没什么油水可榨，才没有将我谋害。我来到汉军，两手空空，举目无亲，可是要吃，要穿，要用，万般无奈，收下点供我花费的钱物，也算是罪过吗？”说到这里，突然停了下来，眼里还噙着泪花。他见刘邦认真地听着他的述说，并没有反对的表示，便又接着说：“马逢伯乐而嘶，人遇知己而死。我是听说大王豁达大度，知人善任，才冒死前来，尽我的微薄之力，报效大王。刚来时，我已对天下形势向大王做过分析。彭城一战，损失惨重，我也极为痛心。但气可鼓而不可泄，万不可以一时胜败论英雄。大王若对我信得过，觉得我说的在理，就继续将我留下。若对我有怀疑，我说的这些话也不值得一听，大王也说明。诸将送我的钱物尚在，全部送还，只求大王保我一条性命，放我还乡。”
刘邦一听这话，连忙说：“先生想到哪里去了，我只是听到一些传言，想问问罢了，怎么是对你不信任呢？”说罢传令诸将，拜陈平为中尉，监护所有将军。诸将一看汉王对陈平更加信任了，陈平的职位还到了诸将之上，也就不敢再随便议论了。
汉军内部的动荡刚刚平息下来，忽传魏王豹又背汉降楚了。刘邦忙把张良等众臣召来，商讨对策。