杨国忠昼夜兼程往回赶，回来听说李林甫一病不起，他想去探探虚实，也想示威气气他。
所以回来到了长安得第一件事，还未进宫，他就调转马头就去看李林甫。
此时的李林甫已经奄奄一息，再也没有力量和能力去跟杨国忠斗了，他人之将死，其言也哀。
李林甫说：“我走了，朝中管理的重任就交给你了，皇帝喜欢大臣责任心强，他不喜欢管具体的事情，喜欢看到结果，管朝廷不要害怕得罪人，你得罪的人越多，皇上才更器重你，不要让皇上觉得你跟大臣们关系好，本质上我们宰相也是孤独的人，你担子很重，朝中大臣方面，你要防止她们结党，没有不收受贿赂的，风气难改，只是抓工作就好了，尽量做好利益均衡，做人方面，还是要以制度为重，你认为好的事情，别人从别的角度就可以攻击你，你做了一百件有功劳的事情没人称赞你，你做错了一件事，就会被传的沸沸扬扬，声名狼藉，国忠啊，今后大唐就靠你了。"
杨国忠看平日里哪那样威严的李林甫这么软弱的样子，他很不习惯，反差太大，有一种不真实的感觉。
他吓得汗流浃背，连声说不敢，”你赶快好起来，你才是大唐的栋梁。”
他离开宰相府邸，恍如隔世，也想到自己会不会有这样的一天，但是转念一想，李林甫这么迫害自己，使自己来回折腾，气又不打一处来。
杨国忠还是担心李林甫装病欺骗自己，怕他又是做的什么局害他，于是他联络安禄山，找李林甫结党的证据。
没想到，李林甫几天后就死了，他接替李林甫的位置，安禄山给他的勾结证据，是李林甫和异族首领结为义父子的证据 。他索性说李林甫生前与突厥首领阿布司勾结谋反，死前曾跟他说了也可以这么做，可以得到很多好处。
这让玄宗被结党、叛国的李林甫气的翻脸，剥夺全部官爵，查抄全部财产，所有家人流放岭南，从棺材里取出了陪葬品，嘴里的夜明珠拿出来，紫色官服也脱掉，重新放入一口薄薄的小棺材里，按照庶民的礼节下葬，杨国忠出了一口恶气，顺便给朝中那些对他唯唯诺诺的人看看。
荣辱的变化瞬息万变，李隆基一气之下否定了李林甫19年的业绩，让朝中所有人不寒而栗。
尽管天下人知道他是并不怎么好相处，但文武百官也都觉得这个事情冤枉老宰相了。人就是这样，他不可能对所有人都好，只要做过一件对的事，便会被历史记住。
李林甫死了以后，杨国忠当宰相，权倾朝野。
李隆基还是向李林甫在位时期一样，将日常权力全部交给宰相，他喜欢将一些繁琐的、细致的、重复的东西交给宰相处理，杨国忠现在的权力比李林甫死之前还大，当年李林甫只是宰相+吏部尚书，有人事任命的权力，可是杨国忠除了是宰相+吏部尚书以外，还是剑南节度使，有军政大权，还有财政方面十余个使职，还是京畿、关内的采访处置使，行政、人事、财政、军政权、采购权，空前绝后的权力。
选拔官僚的时候更是搞得很糟糕。
选官本来是耗时很长的事情，吏部侍郎将官员的候选人进行笔试和面试，再三注（拟定官职）三唱（公布官职），需要修改调整，最后再报到门下省报批，春天选到夏天三个月，关系到官员的切身利益和国计民生的的大事，但是杨国忠是十分关心效益的人，他认为时间就是金钱，效益就是生命，他想改革这个制度，简化程序，把吏部侍郎晾到一边去，把自己的心腹小吏叫到自己家里来，私底下拟好候选人名单，对着他们读官职，然后就问有没有意见，大家没有反应的时间，哪来的意见。
他为了显摆，想让虢国夫人知道自己出息、厉害的样子，还拉个帘子，让大姨子们现场看，她们再帘后评头论足，候选人都能听到，本来庄严肃穆的事情搞得乌烟瘴气，极其尴尬，候选人官名都没有记清楚，不到一天，官员职位的宣读的程序全部走完，他还把门下省的官员叫过来直接听着，宣读完说你们都在场，流程都是公开公正的，你们有没有意见，没有意见赶紧定下来，复审也免了，直接把审核关也过了，一天就全部结束。
杨国忠极其不尊重自己手下的官员，吏部侍郎资格年龄都比他老很多，穿紫袍子的三品大臣，杨国忠在家里来把人家指使来致使去的，还问虢国夫人，我这两个紫衣小吏如何呀，两个吏部侍郎差点没气死。
来人有的是精明强干的基层能人，有的苦读多年的新科状元，都等着国家重用呢。
可这么重要的事情，杨国忠就像开玩笑一样处理着，且任人唯利，唯亲，不给人反抗和周旋调整的机会。
官员没办法凭才能来给国家效力，资历、威望、能力，全部不算数了，当官全凭小吏的一张嘴，这时的朝廷也就没有公平可言了。
李林甫在位时期也只是尊重程序、按部就班的来，虽然他只是会选平庸一些的人，就那样还被全朝诟病，认为是选举不明，现在可好，杨国忠不仅眼光烂，连程序都不遵守，因此他执政时期，朝廷各部的成员比李林甫时期还要差。
李林甫无论从资历还是能力，大家都服他；可现在的官员们都不服杨国忠，因此在朝中的任期满了，宁可去节度使手下工作，长安的人才迅速地的流失和凋零。