当年，霍家覆灭后，朝中权力进行了重新组合，刘病已最亲近的大臣有三个：张安世、魏相和丙吉。
张安世应该是最会当官的人了。
昭帝时，他的踏实厚道被霍光赏识，霍光在斗败了上官桀等人之后，将他作为自己的左膀右臂。此后，霍光力排众议，弃武帝之子广陵王刘胥而立刘贺，张安世没有异议；二十多天后，霍光废刘贺，张安世全力支持；之后霍光立刘病已，张安世仍然赞同。在做这些事情的时候，他的权力仅次于霍光，但他这个二把手，表现得相当低调，从来不忤逆一把手，让一把手非常放心。
张安世是个容易让人放心的人。除了霍光，连和霍光争权的刘病已也信任他。这固然和张安世的身份有关，即老大、老二争权，老三就成为两边都会拉拢的对象，但张安世的处事风格也相当关键。那时候，霍光是刘病已最大的恩人，可刘病已对霍光，是畏惧之情大于亲近之情，而对于张安世，刘病已就觉得亲切（天子甚尊惮大将军，然内亲安世）。
魏相也对张安世放心，所以当霍光去世后，魏相就提议让张安世当大将军（汉军统帅），而令张安世之子张延寿接替父亲的光禄勋（即以往的郎中令）之职，以图拉拢张安世，削弱霍家。
当时刘病已也同意魏相的提议。
然而，朝廷还未宣布这个消息，张安世就听说了此事。他非常着急，立即请求见刘病已。
张安世见刘病已，可不是答谢，而是因为惧怕，他要拒绝。
张安世当着刘病已的面，摘掉帽子，跪在地上，颤巍巍地说：“我仔细想过了，我实在没有接替大将军一职的能力，只希望陛下怜悯我，让我能保全性命。”（诚自量不足以居大位，继大将军后，唯天子财哀，以全老臣之命。）
让他当大将军，这么好的事情他为何不愿意呢？就算不愿意，可难道当了大将军就会没命吗？
张安世非常谨慎，因为他早就看出霍家和刘病已之间的矛盾，刘病已现在需要他，所以让他当大将军，可当霍家覆灭之后，他岂不就是下一个霍光？任何一个臣子，如果权力太大（且太大的权力往往伴随着膨胀的野心），都容易功高震主，让君王不满。
另外，霍光也是赏识过张安世的，他们曾一起做过废立皇帝的事，这算得上在一个战壕里待过的战友，张安世的孙女还嫁给了霍家人，张安世对霍光、对霍家，是有些感情的，如此公然和霍家作对，他内心也有些不安。刘病已要把他委以重任，就是让他去打击昔日的战友，这难免会给人一个张安世不念旧情的印象，张安世显然不想如此。然而他又不敢违拗天子之意，便只好当一个骑墙派。
那天，刘病已听了张安世的话，笑道：“你也太谦虚了，倘若连你都不行，还有谁能胜任呢？”
张安世还是坚辞不受。
可刘病已是铁了心要重用张安世的，刘病已要挫败霍家，在军方必须有得力助手，而张安世就是他心目中的最佳人选。
张安世见刘病已非要他担当重任，只好作罢。他不能再推辞了，因为再推辞就是不想帮皇帝，甚至可能被理解为不同意皇帝，这可能使他直接成为皇帝的眼中钉。
几天后，汉宣帝七年（前67）四月二十二日，张安世被封为大司马车骑将军，同时“领尚书事”。之后，刘病已夺了车骑将军和右将军的兵权，重新洗牌后，霍禹变成光杆司令，而张安世更加强壮，成为负责统领长乐未央二宫卫兵、北军将士和诸城门守兵的大司马卫将军。
张安世无法继续中立，但他其实并不想霍家覆灭，所以在霍光去世之后，刘病已和霍家争权时，他的表现并不积极。在史书上，我们只看到刘病已在和霍氏家族博弈，而没有看到张安世有过大动作，说不定张安世还为挽救霍家做过些什么。
和许多人比起来，张安世还是重情义的。他不像金日的儿子金赏，娶了霍光女儿，但看到刘病已和霍家斗得激烈，担心连累自己，便早早将妻子休了；他不似京兆尹赵广汉，被霍光一手提拔，可当霍光去世后，在刘病已尚未作何表示的情况下，着急站队，闯入霍府抄家。张安世有个孙女嫁给了霍氏子弟，可直到霍家覆灭，张安世也没有绝情地让孙女和霍家人撇清关系。
张安世明白，霍家犯的是谋反罪，是最严重的罪，任何跟霍家有亲戚关系的，都会受到牵连，但他没有像金赏一样和霍家断绝关系，这在政治上就叫糊涂，在大是大非上含糊不清。
张安世对此感到惶恐，他不知道这件事情最终会对自己造成怎样恶劣的影响，因为和政治相关的事情，很多都可小可大。倘若有人想借此事整你，那么你的一丁点儿错误，都会被定性为“蓄谋已久”，你的批评，会变为“恶毒攻击”，你的坚持，会变为“执迷不悟、顽固保守”，你的重情义，就是“结党营私”，你的辩白，就是“颠倒是非”……许多掺和政治的人谨小慎微，害怕犯错，大都是担心犯了错之后被人扣个大帽子、被一棒子打死。
张安世在官场混迹多年，熟知这一切，所以他一直担心没有和霍家撇清关系会给自己引来祸患，因此郁郁寡欢，甚至神色不佳、形销骨立。
张安世的变化被刘病已发现，刘病已从身边人那里得知张安世因此焦虑，遂赦免张安世孙女，让他放心。
可张安世得知皇帝为自己格外开恩后，更加惶恐，因为在他看来，尽管他不想成为第二个霍光，可皇帝对他如此宠信，那他几乎就是第二个霍光了。
张安世太懂官场了，他知道，领导对自己过于器重，有时候并不是件好事。因为他的如鱼得水，将招来同僚的嫉妒甚至陷害。同僚会想方设法搜集他的过错，然后有意无意地让领导知晓。领导可以一次、两次不理会这些弹劾，可绝不会一直不闻不问，次数多了就难免对他有了意见。就算同僚对他的弹劾都是假的，可他仍会给领导留下不好的印象：不团结同事。否则人家为何只跟你过不去呢？甚至在有的时候，领导想收拾某个下属了，会专门在众人面前把下属夸上天，让同事嫉恨他，这叫作捧杀。
张安世差不多就是昔日的霍光了，可霍光的悲剧就在前面，他实在不想重蹈覆辙。他要吸取教训，平平安安地度过余生。
于是张安世开始演戏了。
他很受刘病已器重，但他不愿世人知道。
他经常和刘病已商量国家大事，等结果定下来，他就上书一封，说自己生了病，要回家休养。过一段时间，他和刘病已定下的政策颁布了，他就做出毫不知情的样子，连忙派人去丞相府打听，问皇帝有什么新的指示。
这就带来一个非常好的效果：没有人会想到他参与了重大决策，在百官眼里，他张安世不过如此，因为这么重要的消息，他知道得居然这么晚。
在官场中，能做到这一点的实在太少了。许多初入官场的人在被上司器重后，就沾沾自喜，急于在同事面前炫耀：看看，我不错吧！这种人在获得许多违心的赞美的同时，得到更多的是别人的嫉恨。他满足了虚荣心，却也给自己的进一步发展设置了障碍。许多年后，那个意气风发的少年已经老了，他吃了很多亏，终于明白了这个道理，于是开始收敛。他害怕被人夸奖，只不过他惶恐的，不是被高估了能力后内心惭愧，而是怕成为众矢之的，实际上从内心深处讲，他对这种夸奖还是蛮欢喜的。然而，就算大家都知道这个道理，要做到也非常难，因为许多人也许不知，他做很多事情的最终目标，其实就是名声，因而很不情愿放弃那些能展示自己才能、被别人赞美的机会。
张安世也不是天生就厌恶名声，只是他明白树大招风的道理。因为，他的父亲张汤，就因为和皇帝的关系走得太近，遭到众多大臣的排挤，最后被群攻而死。他也知道，在许多年前，汉朝有一个相国萧何，因名声太好而被皇帝怀疑，身陷囹圄。于是在平时工作中，张安世做好事不留名，拒绝一切被他提拔的官员到府上感谢自己，他甚至还和一个感谢他的下属绝交：推举贤人是我的本分，你怎可私下谢我？
他有个属下，兢兢业业做事多年，却始终原地踏步，就找张安世抱怨，张安世听了之后，也觉得对此人不公，但那天他冷漠地拒绝了此人的请求，说自己只是给皇帝打工的，没有给人升官的权力，之后他又偷偷将此人提拔了。
张安世是大司马卫将军，推荐过不少人才，可他就是不愿别人知道，因为这种处事风格，以至于很多人都误解了张安世。他一个属下升了官，离职之前，张安世希望此人给自己提点儿改进意见，此人就说：“你是皇帝身边的重臣，可是不推举人才，世人多以此非议将军啊！”
张安世道：“臣子贤与不贤，明主自有裁察，我作为人臣，只要管好自己就是了，哪懂得推荐人才呢？”
霍家覆灭后，张安世是大司马卫将军，掌管着帝国军权，地位尊崇，与此同时，其子张延寿也颇多赞誉。张安世担心张家成为下一个霍家，便请求把儿子调出中央，以免被人说张家的权势过于集中。
张安世看透了官场，对许多现象也深恶痛绝，所以在力所能及的范围内，他想做一些改变。他知道当时的政治氛围紧张，喜欢上纲上线，总是在鸡毛蒜皮的小事上大动干戈，把人的一些小错误无限放大，一些能力强但不慎疏忽的官员，往往因此而葬送政治前途，所以他经常隐匿下属的过失。比如曾有个郎官，喝醉酒之后在大殿上小便（汉武帝时代的东方朔也曾为此），被人发现，有人就打算将此人正法，张安世得知后，问道：“你怎么知道大殿上那摊水一定是尿，而不是谁打翻了器皿溢出的水呢？干吗因为这点儿小事就给人问罪！”还有个郎官，和一个婢女私通，可这个婢女的哥哥，居然见人就说她妹妹和郎官有苟且之事。这种丑事被暴露出来，这对男女受罚是在所难免的。然而张安世听说了此事，觉得这没什么大不了的，竟然替人掩饰，说这婢女的哥哥是因为心情不好才到处胡说八道，私通之事子虚乌有。
读者如果还记得，就知道张安世有个哥哥张贺，曾是刘病已的爷爷刘据的属下。刘病已被皇宫抚养后，居住在掖庭，时任掖庭令的张贺对刘病已非常照顾，他不但花钱让刘病已读书，还费了好大力气，给一穷二白的刘病已讨了老婆，对刘病已，他简直视如己出。张安世虽好，毕竟只是个政治上的盟友，而张贺是刘病已十足的亲人。
可张贺没有等到刘病已当皇帝的那天就死了，这成了刘病已一生的遗憾。
但这个恩情是无论如何也要报的，张贺死了，那就在他的后人身上报恩吧。
可张贺的儿子也早夭了。
张贺的儿子死时，张贺已经是太监，不可能再有儿子了，张安世不忍心兄长老无所养，于是将小儿子张彭祖过继给了哥哥。当年，刘病已在民间上学时，张彭祖就是他的同桌。
刘病已打算将张彭祖封侯。同时，他还要给张贺安排二百户守陵人，并追封其为恩德侯。
张安世得知此事，立即反对：陛下啊，这太招摇了！
张安世担心刘病已这么做给张家带来麻烦，因为他知道，刘病已的爷爷刘据贵为皇太子，守陵人也才二百户，他的奶奶史良娣，才三十户，张贺不过是个平民，绝不能有二百户守陵人。
他请求刘病已不要给张彭祖封侯（张彭祖是张安世的亲儿子，张贺养子），就算要报恩，只要给张贺留三十户守陵人就足够了。
刘病已也来了气：这跟你有什么关系，我是报张贺的恩！
张安世听了这话，才不再推拒。
汉宣帝十年（元康二年，前64），刘病已下诏，给张贺置三十户守陵人。
刘病已怀念故人，遂亲自为这三十户人家选择安置地点，他来到张贺的墓前，想到了少时张贺照顾自己的一幕幕，于是将守墓人安排在张贺墓西边他以前经常游玩的地方。
下一年，刘病已又将张贺继子张彭祖封为阳都侯，追尊张贺为阳都哀侯，张贺的孤孙张霸，也被赐爵关内侯，食邑三百户。
虽说刘病已事先言明这些行动和张安世无关，可刘病已这么做，毕竟让张家变得越来越耀眼。这些变化令张安世非常不安，于是主动要求朝廷免去自己的俸禄。
一年以后（元康四年，前62），张安世病了，他给皇帝写了一封奏疏。
在奏疏中，张安世提了两个请求：第一，辞官回家；第二，剥夺自己的富平侯爵位。
这简直是前无古人的请求，一个长期掌权的官员，愿意在身体不好时主动交出权力，已经相当难得。不过这么做对于已经不管事情的张安世来说，损失不太大，毕竟这职位迟早也得交出去，早交还能博个急流勇退的美名。可爵位不同，那是可以被子孙继承的，是许多高官的毕生追求，那“汉飞将军”李广，就将未能封侯引为生平最大的恨事。
张安世是大功臣，刘病已自然不会同意他归还爵位的请求，刘病已给张安世的批复中说：“你要归还卫将军和富平侯的印，就是打我的脸，让我变成个薄情寡义、不念旧情的人。你虽然身体不好，不能过问具体的事情，但是你经验丰富啊，我还要经常向你请教的。”
张安世得到这样的回复，只好收回请求，不过几个月之后，他终于油尽灯枯，死在任上。
张安世实在是太会做官了，他有权势、有成绩、有声誉，然而难得的是他还能善终，更难得的是，他始终没有令皇帝反感过。我想了半天，发现自刘邦立国以来，能做到如此的臣子，除了张安世绝无仅有。有的人权势大，却功高震主，不能善终，如韩信、周亚夫；有的权臣虽然善终，却是皇帝和臣子相互克制的结果，在他生前已经让皇帝不满，如卫青、霍光；有的人深受皇帝信任，却遭到同僚排挤，如汉文帝时的贾谊，张安世的父亲张汤；有的被皇帝信任，最后也能善终，可名声不怎么好，如汉武帝时的公孙弘。
张安世能有这样的结局，是因为他看透了官场，知道在官场中，权力可使人飞黄腾达，也容易让人灰飞烟灭，所以他自始至终都对权力怀着畏惧之心。他离不开权力，但又不想过分地靠近；他想被重用，却不想被过度关注。他不仅懂过犹不及的道理，最难得的是，他知道什么程度为过，什么程度是不及。他就像一个高明的艺术家，在过和不及之间找到了最佳平衡点。对事物的度的把握，实在是件难办的事，因为这需要生活阅历。只有阅历丰富的人，有了足够的积累，才能准确把握好度，而就算一个人是天才，也无法逾越人生的积累阶段。