田延年，其祖先为齐国的田氏家族，此人是酷吏家族的重要成员，现任大司农，是霍光非常信赖的人。
霍光在田延年面前提出了他的焦虑：刘贺荒淫无道，该怎么办？
怎么办？当然是劝谏了。可大将军没有劝谏，却跑来问我“怎么办”，这个问题肯定不简单。莫非大将军有别的想法？
田延年想了半天，才试探着说道：大将军是国家的顶梁柱，要是觉得此人不行，为何不告诉太后，将他废了呢？
田延年是支持自己的，这让霍光有了底气，他接着就亮底牌了：我有这个想法，可不知古人有没有这么做过啊？
田延年说：有！
然后田延年就举出了商朝宰相伊尹废黜太甲的往事，并表示：大将军若能为此，就是大汉的伊尹。
有古法可以效仿，有亲信支持，霍光立即行动起来。他给田延年加官给事中，方便其在宫内行动，以便关注刘贺的动态。同时，他开始和车骑将军张安世密谋。
张安世，是汉武帝时代酷吏张汤的儿子。张汤死后，刘彻怜悯张汤，将张安世安排进宫。张安世凭借惊人的记忆力，受到刘彻重视，在武帝时代官至光禄大夫（即之前的中大夫，秩比二千石）。
刘弗陵继位后，张安世以做事踏实受霍光信任。在燕盖之乱后，霍光将张安世提拔为右将军光禄勋，作为自己的副手。刘弗陵驾崩后，霍光又将张安世迁为车骑将军，成为朝中举足轻重的人物。
霍光找张安世，就是商量废除刘贺的方案。
然而，在二人还未商量出最终方案时，他们密谋的事情好像被人知晓了。
有一天，刘贺外出，一个叫夏侯胜的人突然蹿出来拦住了刘贺的去路，说什么也要刘贺听自己说几句。
夏侯胜说：“这连日阴天却不下雨，说明有臣子准备谋反，这种情况下，陛下准备去哪儿呢？”
按照夏侯胜的说法，他是根据《洪范传》这本书的记载，通过分析得出的有人谋逆的结论。
夏侯胜仅仅因为分析了一本《洪范传》，就敢在皇帝面前说有人谋反的可能性不大。因为如果算不准，这就是诽谤大臣，颠覆政权。要知道，算命人总有失手的时候，夏侯胜冒着杀头的危险去赌自己这一次算得准的可能性不大。
按说，刘贺应该注意夏侯胜的话的，可他听了之后，竟然大怒，认为夏侯胜是在妖言惑众，让人把夏侯胜关起来了。
虽然刘贺将夏侯胜关起来了，可夏侯胜的话也传到了霍光耳中。
霍光得知此事，一下慌了——夏侯胜怎么知道此事的呢？除了夏侯胜，还有谁知道呢？不管如何，夏侯胜能准确说出有人谋反，必是有人泄露了消息。而无数个先例都证明，阴谋一旦被提前发觉，几乎就提前宣告失败。
到底是哪个环节出了问题呢？消息是怎么泄露的呢？
田延年不会说，我相信他。那么，肯定是张安世嘴巴不严。
霍光找到张安世：你怎么回事，嘴巴漏风了吗？
张安世也很焦急，一个劲儿地说自己没有。
张安世似乎也没有撒谎的必要，此人行事稳重，不至于到处乱说的。可如果没有人说，夏侯胜是怎么知道的呢？莫非真的是那家伙算出来的？
霍光立即传召夏侯胜：你给我解释一下，你在皇帝面前说的那话是啥意思！
夏侯胜就把自己的推理过程说了出来。
霍张二人听完，惊讶无比，相信夏侯胜有真才实学，从那之后再也不敢小瞧夏侯胜这种人了。
可夏侯胜的话是真的吗？就算夏侯胜是碰运气算准了，刘贺会怎么想呢？他是真的无视夏侯胜的话，还是故意无视，好让霍光掉以轻心？
事到如今，不论刘贺是否注意到夏侯胜的话，霍光和张安世都必须出招了，因为一旦给刘贺充足的准备时间，他们的胜算就会很小，毕竟刘贺是天子。
霍光和张安世加紧了废帝的计划。
霍、张二人很快就制定好了计划，他们需要外朝长官丞相的支持。
由田延年把计划告知丞相。
现在的丞相，是霍光以前的属下：杨敞。
从燕盖之乱中我们就发现，杨敞是个胆小如鼠的人，他明知道上官桀等人要暗杀霍光，却担心城门失火殃及池鱼，不敢把事情告知霍光。
所以毫不意外，当杨敞听说霍光准备废了刘贺，要他站队，吓得脑子空白了好大一会儿，史书说他“惊惧，不知所言，汗出浃背，徒唯唯而已”。
现在，面对生死抉择，杨敞在那发抖，田延年就眼睁睁地看着：反正你今天不给个说法我就不走。
田延年等了一会儿，内急，就跑去上厕所了。
等田延年上完厕所回来，杨敞就站好队了。
原来杨敞夫人听到了他们的谈话（实在不明白这种秘密的谈话怎么如此轻易就被人听到）。这不是个寻常女人，至少比杨敞有胆色多了，她很快就看清了形势，即今天杨敞必须做个决定，而且必须赞同霍光：大将军都已经决定了，现在让人来通知你，你如果不快些同意，不和大将军同心协力，小心大将军先把你杀了。
有夫人拿主意，杨敞不再多想，一切都听了夫人的。
田延年上完厕所回来，得到了他想要的答复。
于是三人继续商量了废帝的计划，这也预示着霍光马上就要动手。
然而，刘贺似乎也准备对霍光出招了。
现在，双方的形势已剑拔弩张，就看谁的速度更快。
六月二十八日，酷暑，燥热，树上知了的叫声增加了人的烦躁。
未央宫大殿，霍光、张安世、田延年、杨敞，以及朝廷重要官员都已齐备。至于刘贺，此时并不在未央宫，他到长乐宫朝见太后去了。
除了少数几人，没人知道大将军今天想干什么。
殿上的气氛比往日严肃得多，众人都不说话，等待霍光的指示。
这时，霍光深深吸了口气，说道：“昌邑王糊涂悖乱，我担心再这样下去会危及到江山社稷，你们怎么看？”（昌邑王行昏乱，恐危社稷，如何？）
此话一出，大殿上犹如落下一颗响雷，震得群臣鸦雀无声、面无人色，因为所有人都清楚霍光这句话的意思。
原来霍光找他们来，是商量如何废了皇帝——这种他们在古书上听过的传奇故事，竟然发生在他们跟前了。
大殿很快又恢复了安静，只是比先前更加压抑，所有人都异常紧张，他们需要在最短的时间内做出生与死的抉择。
霍光也紧张得汗流浃背，这个威震天下的人，这个掌控帝国达十多年的大司马大将军，此时此刻也不由得手微微颤抖起来。
一片寂静，还是没有人说话，只有屋外喳喳的蝉鸣。
有人动了，一个挎剑的人动了。
是田延年。
只见田延年离开席位，手提宝剑，将群臣扫视一圈，突然大喝道：“先帝给大将军托孤的重任，将天下托付给大将军，只因为大将军是一个能安定刘氏的忠臣。可是看如今这情形，大汉的江山就要垮了。大汉自立国以来，历代皇帝的谥号中都有个‘孝’字，这么做就是为了能长久地掌管天下，使宗庙世世代代得到供奉。如果刘氏宗庙没有人祭祀，大将军死后又有什么脸面去地下见先帝呢？”
田延年声若洪钟，喊声充满了大殿的每一个角落，每个人都被田延年的话所震慑。就在群臣想着如何和稀泥的时候，田延年接着道：“今天这场会议，一定要讨论个结果出来，不能拖拖拉拉，谁要是最后响应，我当场斩了他！”（今日之议，不得旋踵。群臣后应者，臣请剑斩之！）
田延年怒目瞪着大殿上的群臣，手紧紧握着佩剑，似乎那柄剑随时都会冲出来砍杀那些唯唯诺诺的官员。
有了田延年的话，霍光看着瑟瑟发抖的官员，不由得精神一振，说道：“九卿责备得是啊。如今天下混乱不安，我应该接受惩罚。”（九卿责光是也。天下凶凶不安，光当受难。）
现在，霍光表态了：我要废了刘贺。
田延年也表态了：谁敢不响应，我就杀了谁，现在就杀！
在这个艰难的抉择面前，时间似乎静止了，没有一个人敢动一下，也没有人敢不动。过了半晌，忽然有人跪下去了，紧接着就是第二个，第三个……越来越快，他们跪得越来越快，生怕自己是最后一个。
不一会儿，所有人都跪了下去，他们叩头说道：“国家的前程在大将军手中，我们只听大将军的话。”（万姓之命在于将军，唯大将军令。）
有了这句话，霍光才稍微缓了口气，这意味着百官已经和他达成了废帝协定。
现在，大家都同意废掉刘贺，接下来霍光该怎么办呢？
接下来一直到事情办妥之前，所有人都不能离开，无论如何，今天都必须把这件事敲定了。霍光要带着这批人，去太后所居的长乐宫，走个正当程序，从太后嘴里说出废掉刘贺的话。
霍光带领着群臣，浩浩荡荡地踏入长乐宫，对那个十五六岁的小太后奏明刘贺的种种不法行径。
小太后听了群臣的汇报，在霍光的安排下来到未央宫承明殿，下诏未央宫各殿门不允许昌邑国臣子进入。