常言道：“物体先腐，而后虫生也；人必先疑，而后谗入也。”刘邦几次更换太子受阻，不免对自己的地位产生起怀疑，进而对身边的大臣也产生起怀疑。他忧愁苦闷，脾气也变得越来越坏。恰在这时，相国萧何入宫奏道：“长安这里人稠地窄，可是陛下的上林苑中却是荒草一片。若让百姓进苑耕种，收了庄稼，秸秆留下照样可以供养禽兽，岂不两全其美？”
刘邦一听，顿时怒道：“相国收了百姓多少贿赂，竟算计起朕的上林苑来？来人，将相国拿下！”可怜相国萧何，本是一片好意，竟无端下狱。第二天，卫尉王某鼓足勇气，跪到刘邦面前问道：“相国突然被抓了起来，举朝震动，不知他犯了什么大罪？”
刘邦瞪了这个卫尉一眼，怒道：“李斯做秦相时，有善归主，有恶自负。如今的相国倒好，他拿着朕的上林苑，去讨好百姓，岂不是要鼓动百姓造反吗？”
卫尉道：“有便民之事则上奏，这是做相国的职责，怎说是鼓动百姓造反呢？况且楚汉相争时，还有陈豨、英布反叛时，陛下均领兵在外，由萧相国镇守关中。他那时若想夺取天下，不费吹灰之力，何故等到今天？再说，秦朝所以灭亡，还不是因为秦相李斯一味媚主，使皇帝看不到自己的过错而造成的吗？以此看来，李斯何足效法？”
刘邦的脾气本来是时好时坏。他当时一怒之下，逮捕了萧何，过后一想，也有些后悔，如今卫尉又直言进谏，便立即下令将萧何放出，并对萧何自我辩解道：“相国所奏，利国利民，朕心里全都清楚，而将相国下狱，不过是让天下百姓知道朕为桀、纣之君主，以便显出你是体恤百姓的贤相。”
萧何听了，千恩万谢，内心却有一种难言的苦涩。张良闻听萧相国出狱，便前去看望。二人见了，竟相视良久无语。
刘邦的病越来越重了。宫医前去摸了一下刘邦的脉搏，安慰道：“陛下福贵超群，这点小病，吃几服药就会好的。”不料刘邦一听这话，便张口骂道：“真是一派胡言！朕以一布衣平民，手提三尺之剑而取得天下，是朕之福贵吗？这是天命！命运在天！朕若不到归天之时，不治病也会好；若已到归天之时，虽有神医扁鹊，又有何用？！”于是赏宫医黄金五十斤，命其离去。
重病中的刘邦并不能安心休养，他此时想得最多的，是刘氏的天下能否保得住，是戚氏母子的性命能否保全。他常常一闭上眼睛，就看到皇后吕氏身披铠甲，手持宝剑，在追杀戚姬；就看到戚姬披头散发地跑到他面前，痛哭流涕地乞求保护。刘邦想：“这个妒妇莫非真的要闹事吗？可她闹事也得要个帮手啊！谁又可能充当她的帮手呢？”
“启禀陛下，”夏侯婴慌慌张张地来到寝宫，向刘邦奏道，“外面纷纷传言，奉命到燕地平定卢绾之乱的樊哙将军与皇后是同党。他们约定，一旦陛下归天，就里应外合，夺取天下，首先要杀死的就是戚夫人和赵王如意。”
“果然不出朕之所料！”刘邦气得浑身颤抖，“速召张良、陈平前来！”
过了一会儿，陈平就来到寝宫，而使者却回报：张良说自己病情加重，难以应召入宫。刘邦叹道：“恐怕是子房不想再辅佐朕了。”于是问陈平：“外面传言，皇后与樊将军合谋造反，可有此事？”
陈平道：“樊将军是皇后的妹夫，确是很容易串通一气。不过，只要夺去樊将军的兵权，大乱子就不致发生。”
“说得有理。”刘邦道，“朕命你与绛侯周勃前去取代樊哙，将其就地正法！”
陈平与周勃来到燕地，出示诏令，逮捕了樊哙，却又多了个心眼儿。他们商量道：“皇上常常是感情用事，朝令夕改。樊将军是皇上的同乡故交，又功劳卓著，我们奉命将其斩首，说不定反而要落个诛杀忠良的罪名。况且皇上病重，朝不保夕，我们一旦杀了樊将军，皇后也会指责的。”他们最后商定，只将樊哙押往京都长安，要斩要活，由皇上自己去处置。果然不出陈平、周勃所料，他们押着樊哙刚到长安，汉高祖刘邦就一命呜呼。太子盈继承了帝位，成了孝惠帝，而过去的皇后吕雉，自然就顺理成章地成了皇太后。
懦弱的孝惠帝不过是个傀儡，大权完全落在了皇太后吕雉的手中。这时，她没有急着去处理朝政大事，而是首先释放了樊哙，并恢复了他的爵位和封邑。接着，就下令将戚夫人囚于永巷，命其穿上囚服，每日从早到晚舂米。戚夫人既担心自己的命运，又怀念远在千里之外的儿子。她悲伤不已，边舂米边唱道：
子为王，母为虏，
终日舂薄暮，常与死为伍！
相离三千里，当谁使告汝？
戚夫人舂米唱歌的事很快就传到吕太后的耳中，她咬牙切齿地说：“这个小妖精不死心，还想指望儿子呀！”于是，命人将刘如意从赵国召回，用药毒死，然后下令断了戚夫人的手足，挖去她的眼睛，用火熏烧她的耳朵，又给她喝哑药，然后把她扔进猪圈里，名曰“人彘”。吕太后还不罢休，又让同情戚夫人母子的孝惠帝前去观赏。孝惠帝来到猪圈前，看到昔日美貌动人的戚夫人今天竟成了这种样子，不禁痛哭流涕，悲痛欲绝。他让人转告太后：“实在残酷，目不忍睹呀，这不是人所做的事情！臣作为太后的儿子，难以治理天下啊！”于是，从此将政事搁置一边，整日以饮酒度日。
太后吕雉处置了戚姬母子，解了心头之恨，才想起料理朝中大事。连日来，由于忙于料理刘邦的丧事，又忙于惩治戚姬母子，文武百官的奏章已堆积成山，不知从何下手。此时，她不由想起谋士张良。是他出谋划策，使高皇帝多次摆脱困境，转危为安，因此被誉为三杰之一；是他想到请出商山四皓的办法，又巧妙安排，才断了高皇帝废立太子的念头，对我母子来说，这真是恩重如山。她想，有这样的谋士来辅佐，多少军国大事都会料理得有条不紊。于是，她派遣使者召张良进宫。不料刚过一会儿，使者就慌慌张张地进宫回报：“留侯府门半掩，府中空无一人，唯几案上留一素帛，上书‘子房拜师赤松子，云游四方脱尘世’。几案上已有一层尘土，看来留侯出走已非一日。”
吕太后闻听，甚为惋惜，急忙派人四处寻找。结果只在张良的一个朋友家找到他的儿子不疑。据他的那位朋友说，张良说要到外地会个旧友，过几天才回来，临时把儿子托付给他照管，并未说要出家。吕太后听了，下令继续寻找。可是天下如此之大，何处去找？况且张良出家之后，必然改名换姓，而且主要是云游于深山密林之中和人迹罕至之处，派出几个使者，如何能找得到？退一步说，即便找到了，张良既已决心出家，他会回来吗？
读者会问，张良是汉朝的开国元勋，又为太子盈继位和太后掌权立下殊功，却为何要出家云游呢？原来，他博浪沙椎击秦始皇、下邳起兵，以及后来追随汉王刘邦，只不过是为了推翻暴秦，洗雪国耻。这一目的达到后，他就决心功成身退，进山隐居，无奈刘邦一再挽留，吕后又派人苦苦请教，他盛情难却，也为了天下的平安，才暂时留下，继续贡献他的才智。哪料妻子早亡，使他的精神受到极大刺激。而当了皇帝的刘邦，也越来越容不得旧臣宿将，渐露锋芒的吕后更是残忍狠毒。他意识到长此下去，自己还会成为吕后等人的帮凶，这岂不毁了自己一世的声名？他思虑再三，终于不辞而别，跟着一个叫赤松子的仙人云游去了。
这赤松子，传说是神农时的雨师，不食五谷，专食水晶，修炼到最后，入火自焚，到达“仙界”。这一修炼之法世代相传，自认为修仙得道者，便称作“赤松子”。
张良跟随仙人赤松子沿着当年刘邦赴汉中的路线，先是西行，然后向南，穿过崇山峻岭，来到南山南坡的一个历代赤松子的居处。那里有几间茅屋，背山向阳，虽不像都城中的楼堂殿阁那样巍峨壮观，但错落有致，干净整洁，也别有一番风味。这里山势不甚陡峭，然而漫山遍野绿树葱茏。有一清溪自北而南，名曰褒水，流水潺潺，反而给这几间茅屋增添了几分幽静。他知道这里不远处就是古时候周幽王宠妃褒姒的故乡，他由古代的褒姒联想到今天的吕太后，因而庆幸自己离开繁华的京都，脱离了令他心烦的人世杂事。张良心中平静了许多，但他到底是在尘世间生活了几十年，到底是接受过黄石公的授书，多年的战争生活又使他对兵法产生了浓厚兴趣。而且他又听说，那黄石公也是修仙有道的赤松子。于是他静下心来，开始对搜集到的兵书进行整理、编订，并且仿照黄石公的办法，向年轻一代传授。张良究竟在这里生活了多少年，不得而知；他究竟整理了多少部兵书，传授给了多少人，也无记载。不过，今天在陕西省留坝县庙台子镇西，还建有张良庙，又名留侯祠。在张良庙过厅走廊里镶嵌着四十余块古人留题的碑刻。庙中有授书楼，建在用大理石和南阳玉砌筑的人工假山上，高百余米。拾级登楼，约两里许，始达其巅，举目四望，青绿一片，点缀着九座红色的建筑，如绿叶中之花朵，分外美丽。峰下花亭中竖石碑一通，上书四个大字——英雄神仙。
过了几年，张良又来到白云山隐居。这白云山在今河南省东部的兰考县境内。名曰“白云山”，实际不过是丘陵而已。这里不像褒水溪畔那样远离尘世，而是地处中原，且没有崇山峻岭阻隔。但这里终究与中原闹地洛阳，与古战场荥阳、垓下，都相距几百里，也算是闹中取静了。传说张良又在白云山安静地生活了几年，于惠帝六年（前189）病逝，谥号文成侯。
当初张良在下邳桥上巧遇黄石公，喜得《太公兵法》，黄石公临别时曾对他说：“读了这本书，就可以做帝王之师。十年以后会有大的变动，十三年以后，你会在济北谷城山下见到一块黄色石头，那便是我。”十三年后，张良跟随刘邦路过济北，果然看到谷城山下有块黄石。张良惊喜万分，把这块黄石带回，视为珍宝，加以供奉。死后，人们便把他与那块黄石，一起埋葬在白云山下。在今河南兰考县城西南六公里处，至今尚有张良墓。墓高十米，古柏环绕，郁郁葱葱，甚为壮观。不过《括地志》云：“汉张良墓在徐州沛县东六十五里，与留城相近也。”还有的书中说，张良死后，连同他珍藏的那块黄石，一起葬在了谷城山下的黄石岗。这谷城山，就是今天安徽省的名胜之地黄山。张良死后究竟葬于何处，作者不敢妄谈，让史学家们去考证吧！
张良出家之后，儿子不疑由官府抚养成人，后来还继承了留侯爵位。遗憾的是，汉文帝五年（前175），不疑因参与谋杀楚内史，犯下死罪，后虽花重金保了条性命，但张家的封国从此就被废除了。