霍家没有了，但刘病已还是有些不踏实，他仍觉得皇位不稳当。
还有谁可能对他造成威胁呢？
刘病已不放心刘贺。
刘贺当过皇帝，也是有一股支持势力的，他现在还活着，虽然看起来没什么动静，可会不会在等待机会，有朝一日造反呢？要知道，刘病已之所以能当皇帝，最直接的原因就是刘贺不能当皇帝，反之，倘若刘贺硬说自己是真命天子，刘病已就可能是乱臣贼子。刘病已这个出身民间的人，当了皇帝，刘姓皇族是有人不满的，倘若这些不满刘病已的势力利用刘贺的影响力（毕竟当过皇帝），跟刘病已作对，还是个不小的麻烦。而且，霍光在废了刘贺之后没有虐待刘贺，似乎从一定程度上反映出：刘贺被废一事并非深得民心，否则以霍光的手段，就算不杀死刘贺，把刘贺关起来也是很有可能的，更不会给他享受几千户食邑了。
刘病已不能不担心刘贺的势力。刘贺失败后，就被遣送回了昌邑国，仍然住在以前的王宫，仍然有大量的妻妾和下人。当然，他的待遇和进京前有了很大差别：他不再是王爷，食邑数量也缩减至两千户，而且身边多了许多监视他的人。
在刘贺当皇帝期间，曾劝刘贺唯霍光之命是从的张敞，在刘病已继位后，被封为山阳郡的太守，张敞除了治理山阳郡，还有个特殊使命：监视刘贺。
汉宣帝十年（元康二年，前64），张敞写了一封详细的报告给刘病已，讲述他和刘贺的故事：
臣张敞在地节三年（前67）五月的时候找过故昌邑王刘贺，他住在以前的昌邑王宫里，有一百八十三个奴婢。王宫大门关闭着，只开了一个小门，由一个小吏每天早晨外出购买生活用品，其他非生活用品不得出入。宫里还有一个巡逻员，负责盘查出入王宫的人。王宫里负责治安的人，由他们自己掏钱雇佣。我平时也经常派下属去查看。 地节四年（前66）九月，我又去昌邑王宫，看了他的生活条件。故王二十六七岁，皮肤偏黑偏青，没有光彩，小眼睛，少须眉，尖鼻头。他身材高大，但行走不便，似乎患有疾病。他上身穿着短衣，下身穿着宽大的裤子，头戴惠文冠，身上配有玉环，以笔为簪，见到我之后疾步上前拜谒，颇为恭敬。我和他交谈的时候，还见了他的姬妾和子女。我想知道他的内心所想，就说：“这昌邑国好多的猫头鹰啊！”他答道：“是啊，我去长安之前，还没有这么多猫头鹰，从那边回来时，才到济阳，就听见猫头鹰的叫声了。”那天我见到他的一个叫持簪的女儿时，他忽然跪下去说持簪的母亲是严延年的女儿，我知道执金吾严延年的女儿曾是他的妻子。那天，我仔细观察了他，发现他这个人，举止轻狂，而且脑子不太灵光。 他共有十六个妻子，膝下二十二个儿女中男女各半。我之前曾给朝廷上书说过，昌邑哀王（刘贺父亲刘髆）生前的歌舞者张修等十人不是昌邑哀王的姬妾，更没有生育子女，她们只是一般的女子，昌邑哀王去世后就应该将她们遣返回家的。可昌邑国擅自将她们扣留在哀王的陵园中，所以我请求把她们放回去。当时，刘贺听说这个事情后还问我：“对待那些看守陵园的女子，生了病就不能治疗，互相残杀也不用法办，我恨不得让她们马上死光光才好。太守干吗把她们放走呢？”由此看来，此人天性凉薄，没有仁义之心。后来丞相和御史大夫看到我的奏疏，赞同我的意见，才将那些女子放走。
这是一份非常详细的有关刘贺日常生活的报告，包含的主要信息如下：
第一，刘贺住在昌邑王宫，但今非昔比，他实际上已被软禁；
第二，他的精神状态不好，不像个二十六七岁的小伙子；
第三，他畏惧朝廷，怕惹祸上身；
第四，他思想单纯，没什么野心；
第五，他邋里邋遢，说话做事都一根筋；
第六，根本没有当王的样子，毫无仁义之心。
刘病已读了张敞的报告后，大为放心，他终于知道，这刘贺是个草包，不足为忌。
这是刘病已最想要的结果。他看到刘贺是这样一个人，思虑一番，决定解决一些历史遗留问题，即：处置刘贺。
刘贺已经被废了，还要怎么处置呢？
必须处置刘贺，因为当初在废刘贺的时候，霍光其实只干了三件事：第一，杀死昌邑国臣子；第二，将刘贺撵回家；第三，拥立刘病已。
虽然也顺利废掉了刘贺，可下台后的刘贺是什么身份呢？
朝廷没回答这个问题。张敞在给刘病已写监视报告的时候，称刘贺为“故昌邑王”“故王”，这说明，刘贺不再是昌邑王了。可现实情况却是，这个不是昌邑王的人，整天住在昌邑王宫里，甚至还享受着一些诸侯王的待遇，比如他有两千户汤沐邑（也就是食邑），身为太守的张敞，想让刘贺释放张修等无辜女子，都不敢动粗而不得不请示朝廷。这种身份和待遇的错乱，反映出朝廷不知道如何给刘贺的身份进行定位。所以在刘贺被废后，没有一封诏书是说明刘贺身份的。
刘贺不是昌邑王，可你不让他住在昌邑王宫里，他该住哪儿呢？你给他新选择一个地方，就必须明确其身份。就算新选择的地方是牢房，你也得先给刘贺一个罪犯的身份。
那么朝廷为何不在刘贺被废后就立即将其身份进行定位呢？
原因有很多，但其中一个原因也许是，霍光废刘贺的理由本来就不充分，那么不论给刘贺一个怎样的身份，都缺乏理论依据，或者说，都可能弄得舆论哗然。刘贺刚刚被废时，有臣子提出将刘贺贬到汉中郡房陵县（今湖北省房县）当王，可朝廷不愿意。刘贺的手底下，毕竟还有一帮支持者，比如严延年等人。霍光刚废掉皇帝，一定有一些人对他不满，他不论怎么给刘贺定位，都会引起争议。既然如此，还不如冷处理，给刘贺一个模糊的身份。
如今，刘病已已经当了11年皇帝，基本站稳了脚跟，再听到张敞的汇报，发现这个叔叔傻乎乎的，而且过得有一些惨，有些寒酸。他知道就算有人怂恿刘贺跟自己作对，刘贺这种人也是“粪土之墙不可圬”，所以他打算解决这个遗留问题：给刘贺定身份。
汉宣帝十一年（元康三年，前63），刘病已下诏表示：骨肉之亲不能断绝，将刘贺封为海昏侯，食邑四千户，封地在豫章郡的海昏县（今江西省南昌市新建区）。
刘贺是侯爷了，按道理就要隔段时间去京城朝见皇帝，可就在这时，金日的侄子金安上突然上书一封：“刘贺是个愚顽放荡之人，被天所弃，没有资格到京城来祭祀宗庙。”
刘病已同意了金安上的奏疏，于是刘贺就再也没有进京的机会。
现在，刘贺收拾好行李，带着家人离开他生活20多年的地方，朝着南边那个未知的海昏县走去。
按理说，刘病已已经不再担心刘贺了，一根筋的刘贺总能在海昏县安度晚年了吧。
可刘贺实在有些幼稚，他就像个孩子，总喜欢直抒胸臆，还自以为颇具城府。
在海昏县，刘贺跟故豫章郡太守手下的一个小吏孙万世有来往，据说孙万世曾问刘贺：“之前你被废的时候，为何不拼死抵抗、斩杀大将军霍光，而任由人夺你印绶、将你驱逐出宫呢？”
被废多年以来，这样的假设，这样的反问，刘贺不知已做过多少次，可当时的形势就是那样，刘贺有什么法子？就算当时具有孙万世所说的斩杀霍光的条件，可刘贺没有做，他除了后悔还能怎样呢？
刘贺这一辈子都会为当年失去皇位而遗憾的，孙万世的话一定碰到了刘贺的伤疤，他沉默了一会儿，缓缓道：“你说得对啊，是我没把握住机会！”
也许是想要安慰刘贺，也许是孙万世的真实想法，孙万世又对刘贺说：“你别着急，你不会久为列侯的，我估计朝廷很快就会让你在豫章郡当王。”
刘贺听了这话，很受用，但他觉得这孙万世太大胆，这样的话也不该摆在台面来说，于是按捺住喜悦道：“我也估计会这样，但这种事情可说不得哦。”
说不得，可孙万世最后偏偏就说出去了，不但说刘贺自以为可以在豫章当王，还说刘贺悔不当初。
很快，刘贺后悔当初没杀霍光和期待当王的话就被人写成弹劾书，送到朝廷。
有关部门看过之后，认为刘贺大逆不道，妄议朝政，要求将其逮捕。
刘贺的傻头傻脑，给自己带来无妄之灾，不过也因为如此，刘病已早就知道他是那种简单人物，所以他说的话虽然大逆不道，刘病已也只是单纯生气，而没有再把他当成一个敌人，最终放了他一条生路。
刘病已拒绝将刘贺下狱，而是下令把刘贺的食邑削减三千户。
刘贺本来才四千户食邑，现在一口气被削掉四分之三，这无异于要了刘贺的命。
刘贺受到了巨大打击，于他搬迁到海昏县的第四年（神爵三年，前59）就死了。
刘贺大约出生于汉武帝四十八年（太始四年，前93）或汉武帝四十九年（征和元年，前92），卒于汉宣帝十五年（神爵三年，前59），享年三十二三岁。刘贺的一生，有如过山车，从诸侯王升到皇帝，再直接下降到和平民无异，受人监视。之后他远离生活了几十年的故土，成为列侯。在海昏县，他仍然对朝廷充满期待，以为自己会以诸侯王的身份终老，却没想到因为一句话被夺去四分之三的财源。他是个列侯，可是和别的列侯不同，他要低人一等，因为朝廷有命令，他这辈子都不能再进京城祭拜祖先、朝见天子了。
刘贺是海昏侯，他死之后，按规则该由其后代继承爵位，可是最有资格继承爵位的刘充国死了，接下来有资格继承爵位的刘奉亲也死了，于是朝廷就以刘贺被天所弃，不配为某一国之太祖为由（侯爷所在的地区，也叫侯国），不让刘贺的其他儿子继承海昏侯的爵位。直到13年后，刘病已已经去世，其子汉元帝才将刘贺的儿子刘代宗封为海昏侯，祭祀其父。
刘贺去世2070年后，公元2011年，其墓穴被考古人员发现，这座墓，被认为是截至当时保存最好的汉代列侯墓葬。关于其陵墓中的更多秘密，至今尚在发掘之中。