也许之前刘病已还没有对霍家下过杀心，而只希望夺来权力，可知道这件事情后，他在如何对待霍家的问题上就要改变态度了。
当年六月初七，御史大夫魏相为丞相；六月十六，举荐刘病已的丙吉，为御史大夫。
同年十月，刘病已以上个月地震为由，悲痛地表示国家不能在军事方面投入太多，否则老天就会用地震来警告自己，他借此机会，罢免了车骑将军和右将军这两个官职。
右将军是霍禹，车骑将军是张安世，刘病已罢免这俩人的军事领导权，虽然让霍禹很不是滋味，可刘病已的做法让他挑不出毛病。其一，刘病已是一视同仁，把张安世的兵权也夺了，张安世可什么都没说；第二，刘病已说得很明白，这么做是因为发生了地震，老天在警告他，人家为反省地震这个灾异，做了一系列事情，而减少武官数量也只是其中一件。所以，霍禹根本没办法发飙，因为他没有任何理由说刘病已在针对他。
但京城还是要有人守备的，刘病已罢免了这两个武官后，马上就“后悔”了——京城如此重要之地，怎么能没有个将军呢？
刘病已考虑到现实需求，设置了一个卫将军，让卫将军来统领长乐、未央两宫的卫兵、北军将士及诸城门的守兵。至于卫将军的人选嘛，就是张安世了。于是，张安世成了大司马卫将军。
弄到这个程度，霍禹就是头猪，也知道刘病已把他耍了，不过，就在他暴跳如雷之际，刘病已给他封了个很尊贵的官职：大司马。这可是他父亲生前的官职，也是他之前没当过的，这才让霍禹稍稍平复了一下。
但霍禹这个大司马明显成了“光杆司令”，因为他没有兵权，和张安世这个加官卫将军的大司马相比，有天壤之别。
在收拾霍禹的同时，刘病已全面出击，对霍家其他人也动起手来。
皇宫中许多重要部门的负责人，都是霍光的亲戚。比如度辽将军范明友，为未央宫卫尉，负责未央宫的保卫，是霍光的女婿；长乐宫的卫尉邓广汉，亦为霍光女婿。皇宫里面有大量郎官，负责把守殿门、宫中巡逻等安保工作，郎官的最高长官光禄勋之下，另有三位中郎将，皆比二千石，差不多是光禄勋的副手了。这三人分别是任胜、王汉和霍云，都是霍光亲属，其中任胜为霍光女婿，王汉为霍光孙女婿，霍云为霍山的弟弟，霍光的侄孙，被封为冠阳侯。宫里还有个光禄大夫叫张朔，是霍光姐姐的女婿，兼任给事中，经常在刘病已身边转悠，是霍家人的耳目。霍光另一个女婿赵平，为散骑骑都尉兼光禄大夫，统领京城地区的散骑兵。
对待这些掌控着武力机关的霍氏亲属，刘病已又拉又打，一步步夺走他们军权，但又保留他们的部分行政权，一些人的行政级别甚至还有所提高。
范明友，平级调动，成为光禄勋，不再是未央宫卫尉，等霍禹被剥夺了兵权，刘病已立即收了范明友的度辽将军印绶，使范明友也不再拥有兵权。
邓广汉，亦平级调动，成为少府，给皇帝管理财物，不再是长乐宫卫尉。
任胜、王汉和张朔一样，在宫中处在重要岗位，但都被调离中央，分别到安定郡、武威郡和蜀郡当太守，级别由比二千石升至二千石。
赵平，被收回骑都尉印绶，专任光禄大夫，不再有统领骑兵的权力。
这些霍家核心成员，或者被夺去兵权，或者被调离中央，而他们之前所在的重要岗位，全都由刘病已的外戚许氏和史氏担任。
霍家人会对刘病已的这些动作无动于衷吗？
不会的，他们都看出来刘病已在夺权。
可明知道如此，他们仍然想不出破解的办法，因为刘病已几乎没有将他们贬官，相反，霍禹、霍云、任胜、王汉、张朔，他们级别都变高了，范明友、邓广汉都是平级调动。面对这样的处置，他们能说什么呢？能说刘病已给他们升官有错？
他们只能打掉牙往肚子里咽。
为表不满，霍禹称病不起。
霍禹以前的下属任宣前去探望，愤懑的霍禹终于找到倾诉对象：我有什么病？若非我家将军，他能当天子？如今大将军尸骨未寒，他就夺我印绶，将我霍家人排斥疏远，重用许氏、史氏，我怎么也想不明白！
霍禹的确想不明白，也许任宣也不明白，所以任宣只好把霍光生前的事迹和威风夸赞一番，然后劝霍禹接受现实，一朝天子一朝臣，不能和天子对抗。
霍禹想了好几天，才爬起来继续工作。
随着霍氏家族的势力日益衰减、被排除权力核心之外，以霍禹、霍山、霍云为首的霍家人既担忧，又愤怒，还有委屈、不解：霍家对刘病已有大恩，他为何如此对待我们呢？
有一次霍家的几个头目开会，霍山就说魏相上台后经常改变霍光在位时候的法令，宣扬霍光的过失，而刘病已还重用霍光生前讨厌的儒生。霍山还提到，有一次他看到一封弹劾霍家的上书，把霍家说得丑陋不堪，幸好他提前看到才没有交给天子。可是，自从有了封事，上书者也都变得狡猾，许多事情都通过封事上奏，这是不信任霍家了。
这时候，在一旁的霍光夫人发话了，她说：“那个丞相经常贬损我霍家，他难道就没有罪吗？”
是啊，霍家是有过失，可他魏相难道就干净吗？
霍山叹道：“丞相平日里廉洁正直，哪有什么罪行呢？我霍家子弟大都行事乖张、处事不谨，很容易就被抓住把柄。况且民间有传言，说霍家毒杀了许皇后，这到底是怎么回事呢？”
霍夫人听霍山问起民间传言，惊了一下。她想了半天，觉得还是说出来好，因为倘若不跟这几个晚辈交底，他们就不知道霍家和刘病已之间的恩怨，可能会过分相信刘病已，于霍家不利，于是她把几年前她和淳于衍杀害许平君的事说了出来。
等霍夫人讲完，霍禹、霍山和霍云都呆呆地一言不发，良久，霍禹才哑着嗓子说：“你为何不早说此事！原来天子排斥我霍家，是因为这件事情。这么严重的事情，该怎么办呢？”
那天，霍禹等人什么都明白了，多日以来的不解和委屈全都没了。他们看懂了，刘病已做这一切，根本就不是简单地从霍家夺权，而是为了复仇、为了消灭霍家。他们和刘病已之间，将是你死我活的斗争。
几人在惶恐过后，很快镇定下来，他们决定效法霍光，废掉皇帝，就像八年前一样。
据史书记载，霍云的舅舅李竟，有一个好友叫张赦，他见霍家形势危急，就给李竟献了一计：让霍光夫人显说服皇太后（霍光外孙女，霍禹侄女），诛杀丞相魏相和平恩侯许广汉，之后再像当年废刘贺一样，废掉刘病已。
可不知为何，张赦的计策刚献出去，就被一个叫张章的男子知晓，张章二话不说就把张赦告了。
张赦这畜生，居然给李竟出这种计谋，他想干吗呢？
朝廷立即逮捕了张赦。
可逮捕张赦有什么用呢？那些话都是张赦说的，刘病已没有任何证据证明霍云也有这些想法。杀死张赦，仅仅是杀死一个无关紧要的人。
刘病已下令释放张赦。
这么做是为何呢？
为了不打草惊蛇，让霍家人放松警惕：那都是张赦的胡说八道之言，我不会相信的。
可刘病已弄巧成拙了，因为张赦犯了法，而且非常严重，可他没有受到任何惩罚，这本身就很反常。朝廷对张赦的宽大处置让霍氏子弟更加惶恐，他们意识到，刘病已不抓张赦，是看在皇太后的面子上，他故意隐忍不发，为的就是等时机成熟后将他们一网打尽。
想到此处，霍家人就紧张起来，他们决定立即动手，将刘病已解决了。
他们在紧锣密鼓地准备废帝，可刘病已动作更快。不久之后，刘病已就以霍云的舅舅李竟和地方诸侯王有来往，将李竟抓了。
李竟这些人，其实早就不干净了，这个时候抓李竟，就是准备对霍家下手的。
李竟被抓后，肯定少不了挨打，他招架不住，就把霍家做的不法之事供了出来。
刘病已得此供述，立即将霍山、霍云停职，令其回家反省。同时，以霍光诸女和皇太后不分尊卑（皇太后是霍光外孙女）、霍夫人情夫冯子都骄纵不法为由，派人训斥霍家。
眼见刘病已对霍家越来越严厉，越逼越紧，霍禹等人也加快步伐，制订出了具体计划：上官太后设下酒宴，请刘病已的外婆王氏吃饭，要求丞相魏相、平恩侯许广汉等官员参加，在宴会上，由上官太后下令，霍光女婿范明友、邓广汉动手，将他们格杀，之后再废掉刘病已，立霍禹为天子。
这是一个非常老套的计划，比如当年上官桀就打算如此杀掉霍光，又比如当年南越国太后想通过此法杀死丞相吕嘉，这样的计划，基本成功不了。他们的计划尚未实施，朝廷突然下诏，将霍云调为玄菟郡太守，将那个曾在霍禹装病期间探望霍禹的任宣调为代郡太守。这两个郡，都是边郡，尤其是玄菟郡，到那儿当太守和流放差不多，因为它是汉武帝打下朝鲜后设置的郡。
就在这时，霍山又被发现抄写了“秘书”，即霍山私自抄写了秘密文件，也就是窃取了国家机密。
在以往，这种事对霍家就算不得什么，可此时今非昔比，朝廷愿意揪这件事，说明是想收拾霍山了。霍光夫人意识到朝廷对霍家的极度不满，立即上书表示自己愿献出一座豪宅、一千匹马，帮霍山赎罪。
可已经没有用了，因为随着朝廷对霍家的一步步打击，霍家党羽已经被剪除得差不多了，刘病已见霍家开始服软，二话不说，就和霍家摊牌，表示发现了霍家人的密谋——可以想见，倘若时机不够成熟，刘病已就是真的发现霍家密谋，也会隐忍不发的。
事情发展到这个程度，刘病已稳操胜券，经过一番部署，很快将霍光夫人、霍禹和邓广汉等人逮捕，而霍山、霍云和范明友相继自杀。
至此，权倾朝野20多年之久的霍氏家族被一网打尽。