因为丁外人这层关系，鄂邑公主和上官父子自然要亲近许多。
据史书记载，上官桀的岳父宠爱一个叫充国的太医监。有一次，充国因未经允许，跑到了皇宫的大殿上，被人逮住，按照当时法律，罪当斩首。
最后幸亏是鄂邑公主帮忙，才把充国救了出来。这件事情迅速增进了上官父子和鄂邑公主的关系。
如此，霍光的政敌开始抱团。
为了斗败霍光，三人集团（上官父子和鄂邑公主）又想到了那个怨恨霍光的燕王刘旦。
他们和刘旦取得联系，并搜集霍光执政过程中的过失，告知刘旦，以期刘旦向霍光发难。刘旦得到这些信息，非常高兴，数派使者去长安与上官桀等人串联。与此同时，刘旦也上书给丁外人求侯位，不过霍光还是顶住压力，不予批准。
三人集团很快就变成四人集团。
到汉昭帝五年（始元五年，前82）的时候，霍光已非常强势，初步确立了他在朝廷的权威。当然，他为这一结果所付出的代价就是，得罪了几乎所有的辅政大臣——除了已故的金日和那个以恭谨著称的丞相田千秋。
不错，霍光把桑弘羊也得罪了。
桑弘羊又是如何跟霍光反目的呢？
桑弘羊是个经济能手，他主持了平准、均输之法，盐铁、酒类专卖等一系列经济政策，给国家聚敛了许多财富。没有他，国家就不可能进行那么多战争，汉武帝刘彻也不能做那么多事情，他的功劳巨大，刘彻一直都很认可。
桑弘羊是个老臣，在刘彻时代就曾官至大司农，即便他后来没有当大司农了，但帝国经济也一直由他管着。也许刘彻可以缺任何文官，却绝对不能没有桑弘羊，他算得上汉武帝时代的风云人物了。正因为对桑弘羊充分信任，对其能力也充分肯定，所以在临终前，刘彻将桑弘羊提拔为御史大夫，并命其辅佐少主。
桑弘羊对汉帝国有如此大的贡献，且这些功劳也被皇帝认可，他又不是勘破名利的高僧，自然有些得意。
在刘彻时代，桑弘羊的地位是超过霍光的，然而新皇帝继位后，霍光竟然反超，比他的权势还大。更加让桑弘羊恼火的是，他希望给自家人谋取个一官半职，那霍光竟然不给他面子。
看到后来居上的霍光在朝中搞一言堂，他们这些辅政大臣干什么都要经过他批准，桑弘羊就来气——就算你霍光权力大些，可我也不是你的下属，更不是什么权力也没有，你不能太过分！
桑弘羊看不惯霍光，自然要和霍光作对、争权，而霍光势必会想办法收拾他。
敌人的敌人就是朋友，所以四人集团变成了五人集团：上官桀父子、鄂邑公主、刘旦、桑弘羊。
霍光很快就反击了。
汉昭帝五年（始元五年，前82）前后，一个叫杜延年的谏大夫给霍光提议：效法汉文帝，休养生息，改革现有政策。
昭帝五年五月，朝廷下诏，要求三辅、太常及各郡国推举贤良文学之士。
第二年（前81）二月，各地的贤良文学陆续抵京，朝廷遂下诏，让贤良文学们商讨政事，包括百姓疾苦，教化之要。
这是一次让人瞠目结舌的会议，不仅因为它持续了半年之久，更因为会议讨论的问题，竟然是汉武帝刘彻的执政得失。
更让人不可思议的是，那些来自民间的贤良文学，竟然全盘否定刘彻以往的政策，而刘彻去世才不过六年——哪个朝代的学者敢如此大胆呢？
会议是否因此而成为对刘彻的批判大会呢？
那倒还不至于，这是一场辩论会，在贤良文学们一边倒批判刘彻的同时，以御史大夫桑弘羊为首的朝廷官员，成了汉武帝政策的坚定拥护者。
会议一开始，贤良文学们就批判刘彻实行的盐铁官营、酒类专卖、平准均输等政策，指出它们的诸多缺陷，并要求废除。
桑弘羊则不屈不挠，坚决维护，不仅因为它们给国家带来了巨大收入，支持国家进行了一系列对外战争，也因为他就是这些政策的制定者和执行人。
贤良文学批评的这几项政策，其实是当年刘彻为了敛财而制定，是刘彻与民间老百姓争夺利益的手段（与民争利）。当然读者应该清楚，所谓的“民”，并非我们印象中的普通老百姓，而是富商大贾、地主豪强。现在贤良文学要求把利益返回民间，桑弘羊则坚持认为利益归朝廷享有。
那一年，双方旁征博引、引经据典，他们不但讨论了武帝经济政策，还就治国之道、治民之道以及对待匈奴是战是和等问题展开了激辩。
贤良文学的观点是，将武帝时代的经济政策统统废除；对付匈奴等蛮夷，要采用仁义使其归化，和亲为便；治国之道，当以德治为主；统治者教化民众，当引导其重义轻利。桑弘羊的观点则完全相反。
朝廷不可能完全听从贤良文学的话而将武帝经济政策带来的收入全都交给民间，那样国家收入将会骤减，经济非崩溃不可。
但他们的意见又有一定道理。因为在当年，朝廷实施了那些政策以后，导致许多商人破产，社会上层对这些政策极其不满，朝廷要缓解这种不满，有必要做出一定让步，且当时汉朝已经不再大规模对外征战，财政压力也没有武帝时代那么大了。
于是经过一番讨价还价，朝廷最终决定：在郡国废除酒类专卖。
在那场辩论中，辩论双方虽地位悬殊，但来自民间的贤良文学们并没有因为桑弘羊等人位高权重而有所顾忌，桑弘羊也自始至终和他们进行平等辩论，虽然辩论双方因意见不同而有些火气，但总的来说双方是平等的。
这是一场非常开放的辩论，他们谈论的问题十分广泛，双方发言的自由程度，简直让人难以想象。这些来自民间的读书人，不但全面否定了汉武帝的各项政策，还把矛头指向当今的执政者刘弗陵和霍光，说当今的“帝王之道”，大都已经毁坏，说今天的高官没有周公的德行却有周公的财富，没有管仲的功劳却和管仲一样奢侈，刘彻临终前将霍光比作周公，所以他们说这些话，很显然就是在批评霍光了。至于和他们辩论的桑弘羊等官员，也同样被说得一无是处。
这场长达半年的辩论，因主要谈论的问题就是盐铁政策，因而后人称这场会议为盐铁会议。在汉宣帝时代，会议过程经一个叫桓宽的人整理，形成《盐铁论》一书，流传至今。
在盐铁会议中，贤良文学将桑弘羊经济政策在实践中存在的弊端一一指出并加以批判，桑弘羊虽然能言善辩，最后也不得不做出退让，同意取消酒类专卖，这对一直以经济政策成效显著为荣的桑弘羊来说，是个不小的挫折和打击。在那场会议之后，霍光很快就借机将自己的亲信杨敞任命为大司农，主管经济。桑弘羊这个靠管理经济而飞黄腾达的人，因此无法再掌控帝国的经济，这在很大程度上削弱了桑弘羊的势力。
桑弘羊中招之后，霍光的权势更盛。眼见霍光越来越强势，五人集团决定先发制人。
盐铁会议的当年（昭帝六年，前81），上官桀和桑弘羊就发现霍光在近期内办的几件事情有破绽，便打算借题发挥，将霍光的过失放大，趁势将其拿下。具体操作就是，让燕王刘旦给朝廷上书，指责霍光近日所做的几件错事，然后由上官桀将刘旦的上书直接呈给刘弗陵，再劝刘弗陵把这封弹劾书交给大臣公开讨论，最后上官桀、桑弘羊等人在讨论的时候来个落井下石，让皇帝把霍光辞退即可。而霍光一旦离开了权力中枢，他也就只能任人宰割了。
这是个好计策，因为霍光做的有些事情的确欠妥，五人集团的指责，不无道理。
考虑到燕国路途遥远，上书传到长安黄花菜都凉了，五人集团想尽快扳倒霍光，于是找了个人以刘旦的名义弹劾霍光。
很快，一封列举了霍光三大罪状的弹劾书呈了上去。
这三个罪过分别是：第一，武帝曾派往匈奴的使者苏武，被困匈奴20年而不投降，回国后才被任命为典属国，可大将军属下的长史敞没多大功劳，竟然被封为搜粟都尉（而大将军长史敞亡功为搜粟都尉）；第二，霍光擅自增加大将军府的校尉；第三，霍光检阅郎官和羽林官的时候，派头和皇帝差不多。
综上所述，这霍光权势太大，我担心他会做不轨之事，所以我也没心思当燕王了，只盼能进宫保卫陛下。
霍光除了是大司马大将军，还有个非常关键的职责，即“领尚书事”（事，是职责的意思）。尚书是负责给皇帝收发公文的官员，相当于秘书，领尚书的人，类似于秘书长。最初，尚书的工作量不大，主要是负责收发文件。但到汉武帝时期，随着刘彻一系列大刀阔斧的改革，国家的事务工作越来越多，刘彻不可能把所有奏疏都亲自看过并亲自处理，所以他需要一帮秘书帮他把奏疏筛选一下（最好还能把奏疏中的主要内容提炼梳理一下），于是尚书的职责就越来越重了。但即便这样事情还是多，忙得人晕头转向，于是刘彻又找那些有大局观念又熟悉政务的人来帮忙处理一些事务性的工作。这个人帮刘彻处理政务，可名义是什么呢？就叫“领尚书事”了。
见于史册的第一个“领尚书事”的人，应该就是霍光。汉武帝时期，皇帝可以亲政，“领尚书事”的人还不是很重要，因而史书连这个时期“领尚书事”的人是谁都没记载下来。但到汉昭帝时期情况就不同了，刘弗陵无法处理政务，大小事务必须由辅政大臣处理。辅政大臣在帮助皇帝处理政务的时候，也必须有个名义，幸好这个名义在汉武帝时期已经有了，就是“领尚书事”。
但霍光这个“领尚书事”是自封的还是刘彻临终前交代的呢？史书语焉不详，我想刘彻就算没有明说，也应该有所暗示，否则几个辅政大臣还不把“领尚书事”争得头破血流，哪那么容易让霍光就“领”的？
有了“领尚书事”这个名义，霍光就能代替刘弗陵处理政务了。虽然有些事情必须皇帝亲自定夺，但那只是名义上的，霍光“领尚书事”之后，所有要给皇帝的奏疏，都必须过他的手，而刘弗陵看到的奏疏，霍光也都给出了处理意见。
既然要通过霍光，五人集团的弹劾书该怎么传到刘弗陵手中呢？
国家每天有那么多文书，霍光也不可能真的每一封都看，况且霍光还是个大活人，也是要休假的。
轮到霍光休息的那天，上官桀抓住这个千载难逢的机会，将那封弹劾书亲自交给了刘弗陵。
那一年，是汉昭帝六年（前81），刘弗陵14岁，他完全能看懂这封上书。
弹劾书上说的几件事，串在一起可是个很大的罪。霍光增加校尉数量、外出检阅部队、破格提拔亲信，加上他外出之时逾礼行事，这完全可以被五人集团说成欲图谋不轨，而且不牵强，因为这四件事情中，最后一件事情可以说明霍光有不臣之心，前三件则是霍光谋反的具体之行。刘弗陵毕竟14岁了，有一些主见，也有些叛逆，倘若被五人集团说动，他为了显示自己长大了，很可能对霍光下手的。
第二天来上班的霍光刚进入皇宫就听闻此事，也非常惶恐，因为他虽然权势极大，却无论如何也担不起僭越谋反的罪名。
于是，本来要去见皇帝的他止步于外间画室，静候发落。
留在画室而不入，也许是霍光有意为之的，因为那正是当年刘彻悬挂周公背负成王上朝画像的地方，亦即刘彻的托孤之所。
现在，陪在刘弗陵身边的人，是上官桀。他有些得意，只要霍光来了，皇帝肯定要质问他，他霍光哑口无言，我等迅速出击，非把他整下台不可。
霍光能躲过此劫吗？
上官桀等人的计划是对的，霍光的担忧也不无道理，只是他们所有人都忽略了一点。
刘弗陵的智商。
那天，刘弗陵见早该上班的霍光迟迟不来，于是问道：“大将军人呢？”
上官桀上前答道：“因为燕王告他，所以不敢来见陛下。”
“让大将军进来！”
霍光得到刘弗陵的传召，连忙走进内室，见到刘弗陵，立即脱帽，跪在地上请皇帝恕罪。
那天，陪在刘弗陵身边的上官桀看到霍光趴在地上的样子，非常激动，因为他知道，霍光就要完了。
现在，所有人都等着看刘弗陵发落霍光。
“大将军把帽子戴上吧，朕知道这上书是在胡说八道，大将军没有罪过！”（将军冠。朕知是书诈也，将军亡罪。）
“将军亡罪。”这话从何说起？
不但上官桀听得目瞪口呆，就连霍光也难以置信：“陛下怎知他所言非是呢？”
刘弗陵微微一笑，道：“大将军去广明亭检阅部队，是最近几天的事情，你增加校尉的数目，这件事发生了才不到十天，燕国离京城那么远，在这么短的时间内，燕王怎么会知道呢？况且，即便将军想为非作歹，也不是增加个把校尉就成的。”
上书者说自己是燕王，可燕王根本不可能知道这些事，那么这岂不明摆着有人恶意中伤霍光吗？既然是恶意中伤，我就不让他得逞！
等刘弗陵说完，所有人都惊呆了，他们实在想不到年仅14岁的小皇帝竟是如此聪慧。左右既惊讶又高兴，于是刘弗陵巧识诈书的事情很快就传播开来。
上书者得知此事，拔腿就逃。这下轮到上官桀等人紧张了，因为倘若上书者被抓，在牢里被暴打一顿，很可能把什么都招了！
于是上官桀等人不断地在刘弗陵面前进言：这是小事情，人逃走就算了，不必太较真。
可刘弗陵不听，非要严查。
最后在五人集团的全力庇护下，那个上书者才终于逃脱。
这件事情，不但让五人集团不敢再妄图用这些幼稚的把戏欺骗刘弗陵，也让我这个后人对这聪慧少年生出来许多好感。