正德坚拒谏请，断然调取边军入京，是对李东阳的又一重大打击。
他是不幸而言中了。这些边军进入北京之后，便剥夺了原来卫戍部队的兵权。官兵纵横都市，漫无纪律，在市面强买强卖，闯入民宅店铺勒取财物，甚至在通衢街巷也肆行抢掠、奸淫妇女，引起很大的骚乱。更可骇异的是，边军还破例被准入内廷操练，晨夕驰逐，出入禁门。甲胄光辉照耀宫苑，呼噪声浪喧达九门，更在承天门前广场驰马摔跤，举行各种乐舞杂技，叫作“角抵”，正德引为大乐。他还将年纪较轻而又曾习武技和善射的内监编为一营，名为“中军”，参加边军的各种活动，亲自率领这一营特殊军队，高举着“三军司令”的大旗，遍历边军各营，称为“亲阅”，又叫作“过锦”。江彬、许泰、李琮、神周等边军将校都身披黄罩甲，头戴遮阳帽，帽顶插着天鹅翎，高级显贵的插三翎，次一级的插两翎，但贵为兵部尚书的王琼却只准插一翎。怪模怪样，已无军制军纪可言。
江彬受宠，豹房中的皇上义子又添了新的面孔。除了前由钱宁引进的鸡鸣狗盗之徒、穿窬拐骗之辈外，又增加了不少兵痞军汉，像什么朱安、朱福、朱刚、朱清、朱铭、朱翔、朱静、朱强等，一次就赐封了一百二十七人，而且多被分别授予都指挥、指挥、千户、百户、镇抚、旃舍等军职。正德还要为这些人建立义子府，拆迁邻近的积庆、鸣玉两条胡同的民居扩建豹房，要为边军在城郊建立新的兵营，给江彬专门构建宏伟府邸。
丞相职系天下，但当前的实际却是“养鱼于沸鼎之中，栖鸟予烈火之上”，大灾难，大变乱，都在萌动之中。李东阳自觉无力回天，更坚定了求去之意。
李东阳是在正德七年底，除夕前一日得到批准退休的，距离刘瑾伏法之日，已有两年零四个月之久。在这两年多的时日里，东阳经历了前所未有的兴奋、困惑和失望，受到重大刺激。他曾经十多次上疏请求免职为民，并且把这些疏奏汇编为《求退录》一书。
东阳吁求脱身官场，伏迹田里，表面的原因是，他确实老了病了，疲惫已极了。近年来，他气血虚弱，腰膝疼痛，眼目眩昏，曾经两次晕倒在内阁，经搀扶才得出。他自知，以这样衰弱老病的身躯，实在不能再承担艰巨。自称，“臣恐衰病日深，一旦溘先朝露，生平无以副陛下倚毗之望，他日无以见先帝在天之灵，误国之罪，万死莫赎。”
更重要的是，七年前，东阳未与刘健、谢迁一起罢官，并且还被升迁为首席辅臣，其后又被赠给少师兼太子太师的荣誉头衔。似乎官阶爵赏，已极人臣，但朝野气节之士，一直对他不能谅解，冷嘲热讽不断，甚至自己最为赏识和相知的门生故旧，也和他有意疏远，等同绝交，他一直带着自卑负疚的心理坐在这把太师椅上，时常感到苦衷难言，实在无地自容。在具体政务上，如何辅导这个奇怪皇帝，又如何与刘瑾委曲周旋，都存在着许多窒碍，受过不少窝囊气，但又自矢必须秉持良知，在力所能及的范围内，不惜违心自污以谋缓解矛盾、保存善类，减少国家和社会的损失。
对他这样暧昧软弱的态度，一直有人认为他是为了保官固位，是逢君之恶。东阳亦自知一身集百诟，受尽夹板气，但又难以启齿自辩。刘瑾败后，东阳朦胧感觉到，对自己讪议抨击的暗流正在涌动，而且已经逐渐浮出层面。果然，刘瑾伏诛之后，即有南京御史张芹上疏，严词弹劾李东阳恋栈官位，悖弃义理，附从刘瑾，为虎作伥，要求对他罢黜和惩办。
那一天，东阳因病请假在家服药，躺卧在床发汗，忽见门弟子程浩手持一份《邸报》，神色悲愤地冲撞进来，急告：“老师，今有不明事理不分是非的南京御史张芹，竟然上奏劾告老师。奏章已刊登在今天的《邸报》上了。弟子不敢不及时禀告。”
东阳不动声色：“他弹劾我什么事啊？”程浩支支吾吾地说：“这个狗御史，竟然指斥老师当刘瑾乱政之时，未能力争匡正；及至皇上拨乱反正，潜消祸变之后，又厚着脸皮觍颜留位，攘以为功。不能扶颠持危，而冒托孤之寄……”东阳挥手叫他停下来。
程浩又激动地报告：“同僚师友们对于张芹这厮以危言乱语诬陷老师，都非常愤怒，已纷纷上疏，要求处以诬告之罪。”又说：“张芹这厮知道老师仍主持内阁，有意不将奏章经内阁转奏，而直接投递给通政使司要求密奏，皇上已有批示了。”
“皇上是怎样批示的？”东阳问。
“着将张芹夺俸革官，押送来京待戍。”程浩兴奋地说。
东阳陡地起身：“切不可这样办！”
程浩不敢细问，忙搀扶老师坐下来，恭立在旁静候。
东阳稍为平静了一点，无奈地看着自己的学生说：“张御史的话大体上是对的！”这完全出于程浩的意外，更不敢细问。
东阳一字一顿地对程浩说：“这些年来，我确实怀忧抱愧，含垢纳污，有人对我愤慨蔑视，认为我不知自爱，是合于情理的。但谁知道，我要做的事不能做，要说的话不能说，而不愿做的事非做不可，不愿说的话非说不可。人生天地间，实在是遭遇到最痛苦最耻辱的际会。我不得不留任，不得不管事，但留任一日则增一日之愆，每处理棘手一事则多一事之疚，真是进退无据，寝食弗宁啊！
“遵从皇上撰写宣扬穷奢浪费的《玄明宫记》，顺从刘瑾为他的父亲撰写炫耀家世和所谓功德的封诰之文，岂是我的本意？眼见刚方鲠亮的师友同僚们相继被斥逐被谴戍，甚至被杀戮，我无力抢救，未能以死相争，岂能谓为已尽言？民生憔悴已极，权奸窃柄，我忝为首辅，既无补救之方，更无匡济之力，岂能卸却责任？张芹对我的指斥，是出自公心，是符合事实的。不但他应该弹劾我，其他科道百官也应该弹劾我。特别是千秋百世之后，也必会有人指着我的孤坟枯骨再作苛论的！”程浩听到东阳这一席话，汗流浃背，百感交集。这是他受业二十年来从未听到过的自白和教诲，也从来没有对自己的老师有这样亲切真实的理解。
他试图安慰恩师：“老师的衷情，弟子完全理解。还请老师相信当世明达之士必有辨明是非之力；后代史家亦必有公正权衡之笔。还请老师宽怀珍摄。”
东阳长叹了一声，苦笑着说：“能够这样，就是我最大的心愿，老夫死能瞑目了。”
程浩强自抑制，才没有哭出来。稍后，东阳叮嘱说：“你立即代我起草一道请求收回对张芹革官夺俸流放的奏章，用词必须殷切，说理必须充分，务请皇上仍让张芹留在御史之任，只有这样，才能减轻我的罪愆，也能保全风宪之官的言责！”
程浩承诺，拜辞而出。程浩走后，东阳自觉心朗气清。他沉思了一会儿，觉得有一些话，在自己退职之前，应该向皇帝说清楚，也好为历史留下一些交代。思虑已定，坐下来抻纸挥毫，一气呵成：“臣备员禁近，与瑾职掌相关。凡票本拟旨，撰写敕书，或被驳再三，或径自改窜，或带回私宅假手他人，或递出誊黄，逼令落稿，不容臣再过问。真伪混淆，无从辩白。臣虽委曲匡持，期于少济，而因循隐忍，所损亦多。今逆谋破败，乱政澄清，荷蒙渊衷明见，谓不与内阁相干。然玉毁椟中，臣责亦难辞。理宜罢黜，无任祈恩俟命之至。”他命老仆李贵立即将这道亲笔撰写的奏章送入宫闱，颇有一吐为快的感觉。
正德年间，内阁仍然是政争的重要场所，矛盾的汇聚之处。君臣之间，掌权宦官势力和儒生官僚之间，各有不同背景和政治取向的诸内阁大学士之间，往往都要通过内阁，实现自己的主张，体现自己的利益，各存机心，各出奇谋，纵横捭阖，波谲云诡。在内阁宽阔仅十丈的值房之内，却一直是风源浪口，是拉锯交锋的战场，你方唱罢我登台，是这个特殊年代政治气候的重要晴雨表。
正德元年，刘瑾得任司礼太监，便挟持皇权，将弘治时期以刘健、谢迁、李东阳组成的内阁班子强行拆散，贬逐刘、谢而独留东阳，为补充内阁人选的尖锐斗争便立即揭幕。刘瑾要将他的党羽焦芳塞入内阁，但九卿朝议却坚决推荐为人正直，曾参与诸大臣请诛刘瑾等“八虎”活动的吏部侍郎王鏊。当时刘瑾的羽翼尚未丰满，迫于公论，只好让王鏊和焦芳一起入阁。其后，刘瑾又将他的同党刘宇、曹元等引入阁内，把持政务。
王鏊入阁，稍为缓和了李东阳一人孤立的局面，但他们终究处在弱势的地位。王鏊在拯救刘健、谢迁、韩文、刘大夏、杨一清等人免遭杀害的几次事件中，都能开诚直言，以去就力争，因而有助于挽回诸人性命，成为东阳的得力臂助，但因为屡屡得罪刘瑾一伙，不久便被排挤出阁。
李东阳久在官场，当然也熟悉政坛的谋虑，深知狭小的内阁值房实不啻龙潭虎穴，无日不在钩心斗角之中，而且内阁作为中央枢垣，它如何运行，也确实关系到全局安危，影响存亡绝续。自己一时未容告退，王鏊难以久安于位，正德又成见极深，不许刘健、谢迁复出。正因如此，就更须在继任人选上妥慎筹谋。
他把朝中具备资格，有可能被选入阁的官员，在自己心中的人事天平上一一估量。他知道，在当时极为特殊的情况下，能够被接纳入阁而又能站得住脚的人，必须具备几方面的人际条件，那就是既能得到皇帝接受，取得群臣的赞同，而宦竖之辈又难以坚拒，还希望在人品上是端正耿直稳重，能够坚持正理，不趋附宦竖，能支持自己的处世态度和理解自己的用心，但又不轻率鲁莽，是能忍能战，懂得卧薪尝胆、屈蠖求伸的人物。
他知道自己并不掌有决定内阁继任人选的权力，但还是具有推荐和促成某些人得以入阁的可能。
几经考量，他看中了两个人，一个姓杨名廷和，另一个姓梁单名储。杨廷和，字介夫，四川新都人，出身书香官宦家庭，世代铸缨，父亲杨春曾任湖广提学佥事。廷和少年早慧，十二岁便中举人。成化十四年，十九岁便中进士，比他的父亲还早两科。他中进士后，被选入翰林院当庶吉士，时李东阳正在院任编修，专责为庶吉士讲授经书，与廷和有师生之谊，相知甚深。
廷和性格内向沉静，不露锋芒，温文尔雅，风采出众。他遇事慎重有主见，劲气内敛，处世周密，能三思而后行，但他又不是一个书呆子，对于国计民生、边塞防守、吏治利弊，有着较为深入的见解。熟悉他的师友，都认为他在才学和修养上都是一个拔尖的人才。李东阳不止一次地对人说：“本人虽在文学上有一日之长，若论行政经济才能，实在不如介夫！”
廷和对于当前政局的错综复杂、事理曲直和场面上的人物正邪都心中有数。刘瑾掌权后，曾着力拉拢他，几次邀请来见，他都以“不敢私谒”为名拒绝。其后，他担任日讲官，又在皇帝“开经筵”讲解经书时，借历史上的典故讽刺佞幸，因而得罪了刘瑾，将他调往南京出任闲职，准备将他“冷藏”，隔离他和朝政的联系。可是，由于他讲解经书深入浅出，给正德皇帝留下了深刻的良好印象，常问道：“为什么未见杨讲官？为什么要把他调到南京去？”刘瑾迫于无奈，才不得已将他召回北京。朝臣们都知道些中原委，故此当要补充内阁大学士时，李东阳便借此机缘，向正德力荐杨廷和入阁。
杨廷和得批准入阁参与机务后，苦心协助李东阳委曲周旋，随事补救；有时在抵制阁内刘瑾死党焦芳、曹元等的无理主张，对缓减一些朝臣所受的残酷迫害，也起过一些作用。但是他们在刘瑾严密操纵的内阁中，终究不过是作为持异见的另类，发言地位很低，更影响不了决策，虽然致力调剂，但效果是有限的。但杨廷和得以入阁，总算打进了一个楔子，一旦时势变动，便会发挥出意想不到的作用。果然，刘瑾败亡之后，李东阳恢复了部分权力，杨廷和亦崭露出头角，对于清除刘瑾余党平反冤狱等做了大量工作，成效显著。特别是在李东阳退休以后，廷和便成为应对大局的领头人物。
梁储，字叔厚，广东顺德人，面孔黝黑，颧骨突出，眼窝略陷，说话带有广东土音。他是岭南大儒陈献章的学生，献章主张“忘己”“无欲”，梁储信奉终生。梁储是成化十四年会试第一名，也就是取得了俗称为状元的荣衔。到正德初年，年已六十出头，但精神矍铄未见疲惫。他虽然入仕多年，但一直坚持特立独行，不阿谀权贵，坦言直谏，不说假话。时人叫他“梁老广”，也有人戏称他“梁南蛮”。李东阳对他的硬骨劲节暗中称许，乘刘瑾垮台，焦芳、曹元、刘宇等都被贬退查办，内阁急需进行换血改组的节骨眼上，联合杨廷和推荐梁储入阁。李东阳在退休前，还是想竭力促成一套可以信托的内阁班子，了却自己一桩大心事。从此做一个边缘人，淡出政坛，以读书论文了此余生。
应该说，以杨廷和和梁储为主干的新内阁，其后又加入广西全州人蒋冕、河南掖县人毛纪，确实是组成了一套相对稳定的以儒生官僚为主的内阁班子，一直维持到正德末日。但是，他们面对的是一个成年后更加纵情任性，更为荒诞怪行，史所罕见的荒荡猥亵的君主；是紧攥军权，能够操纵皇帝行止，比刘瑾等拥有更大影响力的江彬、钱宁一伙；是久已积聚力量蓄谋叛乱的强大宗藩势力；是哀鸿遍野、伏莽遍地，大规模动乱此起彼伏，频将崩解的社会。这几个书生局处在内阁值房，能够挽狂澜于既倒，扶大厦于将倾吗？