东阳在正德七年年底退休，直到十一年七月去世，是他生命中最后三年半的岁月。
罢政家居，是他人生历程中最后一次转折。退休，是他几年来苦苦以求的，但真正退下来，却面临许多困惑：生计的安排，诗文聚会的恢复，一生文稿的选编，后事的处理，特别是关切对本人功过的评论。真是人闲心未闲，身怀百岁忧啊！
对于生计，东阳入仕五十年，未有聚敛积蓄，操守廉洁是人所公认的。退休后，正德批示发给他每月食米八石，每年拨给人夫十名服役，这是对退休官员最优惠的礼遇，可谓皇恩浩荡。但是，其他达官一般都已宦囊饱满，不在乎政府每月供给的食米，仅将皇家的恩赐作为象征性的荣耀，并不作为维持生计的正项。可是，东阳除此之外别无入息。旧府邸空架子还在，除了吃饭，还有仆从礼仪、医疗应酬等各种开支，八石米是断断不敷的。东阳首先辞免了拨来的人夫，因为供应不起不菲的食宿节赏，又削减了轿班仆从，从八人抬的大官轿改为二人抬的小便轿，只留下老仆李贵一人应付门户，老妻入厨房负责三餐烹饪。还我书生本色，倒也怡然自得。平常，因为东阳名满天下，请求书写诗文书篆的人络绎不断，可以靠润笔费来补充日用。一天，老妻为他准备了纸张笔墨，他恰好感到疲倦，不想再写。老妻笑道：“相公今日有客，能使食桌无鱼菜吗？”东阳闻言，只好打起精神，勉强执笔挥毫。又一天，两个门生来谒见，带来了一束鱼干和鲜笋，吃午饭时，恰好就只有刚送来的两色菜肴，一时传为佳话。
东阳恢复了以诗文引后进的活动，不时邀请门生文士等来宅雅集，扺掌谈文学。但是，衰病余生，到底年老体弱了，才思显得迟钝，论文谈诗不再敏捷。有时，众人正讲得兴高采烈，老人却眼目眩昏，打起瞌睡来。
门生文士们都为此感到忧感，为了减少干扰，参加雅集的人也逐渐疏少，李阁老胡同寂静多了。
东阳的重大心事，是在有生之年，将自己一生的诗作文稿选编成集。他把这本集子取名为《怀麓堂稿》。麓，是坐落在他的原籍湖南长沙的麓山，这是青山翠谷、风景绝胜的所在。怀麓，就是怀念这座名山，体现恋恋故乡之情。其实，东阳“楚人而燕产”，他的籍贯虽然是湖南，但已经数代生养在北京，本人亦是在北京出生。文集取名怀麓，无非是仰念“华容文献地，多奇才伟器”，既可以仰望炎、黄、舜、禹的遗迹，又更铭记屈原、羊叔子、周公瑾等人物的丰功伟业。他一直以作为湖南人而自豪。怀麓，既寄托着对层峦叠峰名山的向往，又是对功业不朽的前贤们的景仰。
但是，他在选编《怀麓堂稿》的时候，却面临着艰难的抉择，既不敢过分触及现实的复杂政局，也为自己过去某些言行怀忧抱愧，是全部披露自己一生撰写的手稿呢，还是有所隐讳和取舍？一再权衡，实在为难，总是拿捏不出准儿，十分揪心。
一日，门弟子程浩来看望老师。他意外看到，书房里放置着一个大火盆，东阳神情亢奋专注，正颤颤巍巍地将一摞摞的文件投入火盆焚烧，一时火焰飞扬，烟雾缭绕，呛人眼鼻。程浩疾步上前，先扶东阳入座，又抢步向前，伸手要扑灭盆火，但东阳焦急摆手，厉声命他不要多管。程浩不明原因，问道：“老师要烧什么东西？为什么不命李贵去做？何必自己操劳呢？”
东阳盯着自己的门生，一时不说话。
程浩注意到，东阳的眼睛由于烟火燎熏显得红肿，泪水充盈，额头上青筋暴突，可见他是十分认真，下了最大决心才亲自焚烧这些文件的，是作为自己辞世前必须了结的大事。
稍过一会儿，东阳叹气说：“这些文件的弃留，别人是不好代我作主的。只能由我自己逐一审阅和决定，只有把不必保留的亲自付火，眼见它化为灰烬，才放心啊！”
“这些是什么东西？”
“是我的文稿，是选编《怀麓堂稿》未收载的剩稿。”
程浩一下子想起，关于编辑《怀麓堂稿》的问题，众门生曾一再主张，要收集东阳的全部著作，包括诗赋、信札、杂著、箴、铭、赞、引、墓表、传记等文章，特别要保留历年的题奏，不加甄选，不留遗佚，由门人负责编纂成全集。但意外的是，老人坚决不同意，而且一定要在内容上有删节，有勾除，并且要由自己选辑，不容别人插手。门人们未解深意，但都不敢认同。今天，看到老师竟固执地将未收文稿付之一炬，他焦急起来，来不及细说，便要将未烧的文件抢夺回来，可惜绝大多数都已经烧透了，盆中只剩一堆纸灰。
“老师，您是何必呢？”
东阳喘着气解释道：“我已经将历年的诗赋诗论，以及所有杂著文章都编入《怀麓堂稿》了，没有什么遗漏的。”
“那么，您烧毁的是什么文稿？”
“是我入仕之后，特别是在当今皇上即位以来上的题奏本章。”
程浩大吃一惊，忍不住大声叫道：“这些文稿是最不应该烧毁的！”
东阳皱眉，闭目，摇头。
程浩又说：“这是因为，老师在任时和退休之后，仍有些人不明底细，不分是非，不体念近年朝政复杂，不知道老师以仁者之心，甘受垢辱，委曲其间，为保存国家元气，艰难撑持的苦心，对老师苛责丑诋。这是天下最不公平的事。只有披露出老师历年手撰的全部题奏，才是最有力澄清淆乱、去伪存真的证据，才能够给当代臣民和后代史家留下反映事关大局和荣辱的真情实况，怎能销毁实迹，更怎能由老师自行烧毁呢？”
这一段话猛然击中了东阳的最痛处，东阳像一个被审讯的犯人，沉痛地说：“我是有错误的，这也是本人平生最大的遗憾，最大的悔恨。我一直自受谴责，内疚不遑，日前对有关张芹问题上的处理，我已经对你说过了。难道像我为刘瑾父亲撰写的吹捧诰封，以及惑众听闻的《玄明宫记》等污秽文字，还能厚着脸皮，让它再遗臭人间吗？”
程浩不假思索地反驳说：“明眼人都知道，这些肮脏文字，是老师在迫不得已的情况下违心写出来的，为了换取黑狱和屠刀底下的忠义之士保存性命，为了营救尚宝卿崔璿、副使姚祥、郎中张玮、给事中安奎、御史张彧等众多正人，为了求免百官跪伏在承天门外受辱，特别是为了保存刘健、谢迁、刘大夏、杨一清等朝廷柱石。难道这些正气凛然的文字，也不应保留吗？”
东阳说：“你刚才所说大批臣僚受迫害，都是以皇上名义发布敕旨，强制执行的，如果披露实情，就难免触及皇威。对皇上某些逾规犯矩的言行，上奏劝谏是应该的，但公之于世就很不相宜，不彰君失，为君王讳，是儒家本分啊！
“至于我自编文集，除几封求退的奏章外，未收在内阁十九年。特别是正德以来的奏疏，因为它牵涉许多微妙的关系，对先帝和当今皇上，以及一些同僚师友都有不便，更不愿为自己处于非常时期的异常举止再作辩白。我有意避嫌，宁可自咽苦果，自背骂名，也不敢有负君父，不肯有愧师友。是非曲直，留给后代史家评判吧！”
程浩并不信服东阳的解释，认为自己的老师实在过分怯懦，过分窝囊。有哀其不幸、怨其不争、悯其愚诚的情绪，于是负气而言：
“那么，《怀麓堂稿》的内容，主要只是您的诗文集了。”
东阳点头回答：“是这样！我就是要编一本诗集、诗论集。”又自言自语道：“老夫本色是诗人，入仕做官真是误入歧途啊！”
程浩想再说话，却都咽了下去，他感觉老人执拗，说也无益。师生相对无言，氛围凝重。
东阳看出了程浩的不满和失望，深为这个弟子的关爱而感动，但又认为他对自己的衷情并不够理解。为了缓和气氛，也为了让程浩体会自己的忧伤和创痛，便细翻已编成的稿件，从中拣出一页，亲切地说：“子明，你细看这首诗吧！”
程浩双手接过，见纸面上写着“寄彭民望”四个字。
对于彭民望其人其事，程浩素有了解，知道彭民望也是湖南人，是东阳的同乡和亲密诗友。民望成为进士后一直在北京任官，先后当过御史、给事中，为人不善结交，耿直敢言，曾多次单衔上疏弹劾刘瑾并谏劝正德改恶从善，受过杖责和入狱，经东阳力救才脱险。他淹滞官场，以任给事中一职终其身。刘瑾败后，他坚决求退，入仕二十余年，仅以六品官衔退休回家。东阳对他屡经蹭蹬而怀才未得用，一直抱着特别的同情，但又羡慕他急流勇退，得以脱身混浊官场，为他庆幸。诗道：
斫地哀歌兴未阑，
归来长铗尚须弹。
秋风布褐衣犹短，
夜雨江湖梦亦寒。
木叶下时惊岁晚，
人情阅尽见交难。
长安旅食淹留地，
惭愧先生苜蓿盘。
东阳写这首诗时，还在内阁之位，但已明显透露出对官场的厌倦，对布衣蔬食生活的神往，而且，从几十年的阅历中，他对人、人性、人际关系的本质都有了痛切的体会。据说，彭民望读到这首诗，曾感动而哭，悲歌数十遍不止，反复念诵“木叶下时惊岁晚，人情阅尽见交难”两句，连说：“西涯的处境就真是这样艰难吗？他真是有自知，也是最知我的。有友如此，夫复何憾！”
程浩细读这首诗，渐而体会到东阳的深意。他省悟到，老师多经世变，屡历艰难，品性人格和心理都受到严重扭曲，内心常怀悲怆彷徨，既缺乏回顾的勇气，也失去了前瞻的信心。但是，在审时、对人、处事各方面，老师还是严格遵循一定之理，恪守一定之规的。他要避嫌，但从未昧良诛心，追随恶势力，从未炫耀自己在极端艰难处境中的善举，反而时时事事严以自责，内疚不已。时到今日，仍然不肯触犯君父尊严，不愿攀连同僚师友，可以说是愚忠，是蠢念，但用心还是出于诚挚。老师在正邪激斗的夹缝中，身心俱受重创，这真是人生的大悲剧。他深深同情恩师确实生非其时、处非其位、行非其愿，未能以诗人终老。看来老师在选编《怀麓堂稿》时多加删削，并不完全出于老年性的执拗，只是依其本性，遂其意愿而已。思想到此，程浩就不想再多说话了。他郑重地把诗稿还给东阳，泪珠不觉洒滴在诗笺上。
正德十一年春夏之交，东阳的身体愈加衰弱。他经常昏厥，寒热不常，打不起精神，有时又思绪颠倒，语无伦次，似乎言难尽意，表达不了满腔的心事。
到炎夏六月底，东阳已经起不了床，长日昏睡，面色苍白，脸容浮肿，显得已是油尽灯枯，走到了生命的尽头。在京的达官和好友如杨一清、杨廷和、梁储、蒋冕等，以及众多门弟子不断来问候，他本人也不知答话，只由老夫人陪同，临床一见，各人悲伤不已。东阳本人亦自知不起。一日清晨，突然显得神清气朗，喝了半碗粥，问夫人：“邃庵来过吗？”
邃庵是杨一清的别号，当时杨一清已回朝任吏部尚书。夫人答道：“几乎每天都要来问疾，因为相公瞌睡，所以未叫醒说话。”
东阳急忙说：“我要见邃庵！”
夫人怕他过累，劝说：“等相公身体好一点，再见面，好吗？”
东阳用不容置疑的语气说：“不行，一定要见邃庵！”
两个曾经共度艰危的至交，在七月初的一天见面了，时在东阳去世前数日。
一清走近病榻，看到重病缠身的东阳瘦骨嶙峋，只剩得以皮包骨，双颊下陷，呼吸短促微弱。看到一清来了，东阳勉力支撑，想坐起来说话，但体力不支，只好再躺卧下来。他伸出干瘪枯瘦的手紧握一清，有气无力地说：“邃庵，我有话要和您说呢！”
一清坐下，轻声回答：“西涯，有什么话您尽管说好了。”
东阳却没有力气说出整句，闭着眼睛一字一顿地说：“要……防止……钱和江啊！”
一清知道，东阳叮嘱的是要防范钱宁和江彬，连忙点头：“您就放心吧，我和介夫都会密切注意的。”
东阳点头。过一会儿，他好像体力略有恢复，睁开双眼说：“要请皇上快回北京为好……一定要迎请圣驾回来……”
谈话间，一清看到东阳脸颊突泛晕红，神色抖擞，这是一个多月来未见的神采。他知道人的生命临将终结之前，会突然焕发精神，似乎健康已有起色，但其实不过像火焰将熄灭前一闪而过的灿烂，是终生精力的最后迸发，俗称回光返照。一清不由得感到一阵椎心的疼痛，他知道已经到了诀别的时刻，悲从中来，不能自已，又看到东阳临将弃世，仍然以皇上和国事为念，更觉怆然。他强忍眼泪劝慰道：“西涯，一切放心吧！我要告辞了。”
他刚起身，却听到东阳呼唤：“先别走，先别走！”
一清回身：“西涯还有何心事？”
东阳伤感地说：“我去世后，千秋百代，一定还会有人指着我的坟头和枯骨斥骂的！”
原来他放下了生前事，却忘不了身后评啊！本已枯竭的眼睛里泛出催人心碎的焦虑。
一清胸有成竹地说：“您放心。历史有情，公道自在人心。您的苦心危行，忍人不能忍之辱，成人不能成之事，是人所共知的，切不要过分自责才好！”
东阳嘴角抽搐，说不出话来。
一清又说：“我还要告诉您，内阁和吏、礼两部已经议定，在您百年以后。要奏请颁赐的谥号是‘文正’两字。您知道，只有文章道义俱全，正色立朝而有大勋劳的人才能称为‘文正’。我朝还未有先例！还有什么可抱憾的呢？”
东阳闻言，微露笑容，目送一清离去。
几天之后，东阳去世了。他是带着错综复杂的心情，既欣慰又内疚，既执着又无奈，既厌倦又不舍而离开人世的。历史总是如此吊诡，东阳去世后，仍然给后世留下了一系列的疑问、争论和歧见。