段祺瑞和皖系能够登上历史舞台，段祺瑞个人的能力毋庸多言，四位心腹也并非泛泛之辈：靳云鹏练兵、徐树铮谋划、傅良佐统兵、曾毓隽外联。但等到徐树铮廊坊被杀，靳云鹏对他寒心，傅良佐外强中干，曾毓隽则被直系软禁，段祺瑞和皖系的冬天扑面而来。此时的段祺瑞早没有了昔年北洋之“虎”的凶悍，尤其是徐树铮死后，他于政坛可以说真正心灰意冷。所以在最后的几年里，段祺瑞与其说在争权，不如说是在争自己作为北洋元老仅剩的那点儿尊严。
1926年2月16日，内阁总理许世英递交辞呈，因为段祺瑞是临时执政，按照约定不能履行管理政府的职责，政府瞬间处于真空状态，于是，在西北军的催促下，段祺瑞只好任命贾德耀代理阁揆。贾德耀上任之后，西北军就要他立刻通过讨伐吴佩孚的命令，并且查办奉系的山东督军张宗昌，贾德耀没有办法只好通过这些议案，并拿着去找段祺瑞签字。段祺瑞不愿得罪直系和奉系，于是坚持不予签署。贾德耀干脆也要撂挑子走人，段祺瑞退还了贾德耀的辞呈，让他暂时再客串十天，同时下令慰留许世英，但北京政府的这堆烂事，许世英是再明白不过的了，他于23日、28日连着两次递交辞呈，说什么也不愿意再回去组阁。
关外的张作霖已经恢复元气，组成联军的吴佩孚和张宗昌也对冯玉祥的西北军虎视眈眈，而冯玉祥垂帘听政，准备指挥西北军与奉、直、鲁联军一战。进入1926年不久，张作霖就率领奉军挥师入关，段祺瑞慌忙致电张作霖，劝他“多年绥辑，久费经营，丘墓保存，苗裔所托，岂忍甘心孤注，悉供内争？振臂屡呼，不虞外患。切望蠲除积忿，各释前嫌，宏阋墙御侮之模，懔佳兵不祥之戒。所有西上师旅，即日撤退出关，各不相侵，共谋康济”。
张作霖遂派张学良先由榆关进抵秦皇岛，另一方面，吴佩孚则率军进攻河南，接连攻克开封、郑州、洛阳，使得西北军受到南北夹击。而在北京，许世英内阁于3月3日提出总辞，段祺瑞因此在执政府召开国事会议，决定准许许世英内阁总辞，特命贾德耀署理国务总理兼陆军总长。本来不欲再掺和北京这堆烂事的贾德耀，又给段祺瑞强行架上桌，好在此时吴佩孚和张作霖已经动手，西北军也不再逼他下什么讨伐令，事情简单多了，他也就受命着手组阁。4日下午，贾德耀公布了阁员名单，以颜惠庆为外交总长，屈映光为内务总长，贺得霖为财政总长，杜锡珪为海军总长，杨文恺为农商总长，卢信为司法总长，马君武为教育总长，龚心湛为交通总长，邓汉祥为国务院秘书长。5日，贾德耀专门邀请全体阁员到自己的私邸聚餐，结果翌日杨文恺不愿就职，看来靠饭局搞妥上下级关系历来都是不太靠谱的事情。因为财政问题始终无法解决，教育经费没有着落，教育总长马君武也对内阁事务没有什么热情。8日，外交总长颜惠庆也干不下去了，因为各地军阀总是打仗，根本没有办法跟外国建立正常邦交，加上这时候外国各公使都在催要债务，麻烦一堆，所以他也要求辞职。
于是，贾德耀内阁成立还没有一个星期，外交总长、农商总长就辞职了，教育总长则工作消极。正当北京政府内阁动荡，西北军节节败退之时，身在北京的北洋系元老及名流发动了和平运动。3月15日，王士珍通电提出和平办法的六点主张：一、西北国民军撤返西北。二、奉军退回关外。三、直鲁联军退回山东。四、吴佩孚军不再前进。五、鲁豫两省暂时维持现状。六、中央政局再议善后。18日，王士珍、赵尔巽、孙宝琦、汪大燮、胡维德、王芝祥、熊希龄等通电各省呼吁和平，20日，西北军方面张之江、李鸣钟、马福祥、刘骥、宋哲元等通电响应，同时，鹿钟麟领衔西北军前线将领通电，“即当遵电饬令前方，先行罢战，各退原防，静待后命，以表示敝军倾向和平之诚意”。
西北军在发出两封通电之后，各路军队于当日撤兵。21日，西北军下达总退却令，部队集中到天津总车站，乘坐火车退回北京。22日，王士珍等人开会议决：一、将张之江等人的通电，转电张作霖、吴佩孚等，请速撤回原防，务勿追击，静待和平解决；二、京师治安，通知鹿钟麟、李鸣钟，请切实维持。这个时候，直鲁联军已经攻克天津，各路西北国民军只好纷纷后撤，奉军、直军和鲁军遂兵分三路围攻北京，李景林进攻通州，张宗昌进攻黄村，张学良进攻顺义。
眼看着北京已经陷入重兵围困之下，西北军的幕后主脑冯玉祥宣布出国去苏联，并在23日抵达库伦。冯玉祥出国之前，举荐张之江出任西北边防督办和察哈尔都统，但张之江自知无法震慑西北军其他将领，提出辞职，并保举李鸣钟和鹿钟麟继任。25日，西北军第一军将领一致拥护张之江，张之江只好勉强同意主持西北军，随即在北京警卫部召开紧急会议。当时西北军中鹿钟麟的意见得到较多支持，即固守京畿，如果没有和平办法或是正式交代，绝不放弃京畿。
1926年4月2日，张作霖出动飞机对北京进行了轰炸，虽然当时飞机投下的炸弹破坏力还不是很强，起到的最多也就是个威慑作用，和用大喇叭喊话或者是冲天上打两枪的效果差不多，但是飞机的震慑效果毕竟还是更强一些。北京人心惶惶，士绅富贾纷纷出逃。这时候，那些主张和平的北洋元老急忙又致电张作霖、吴佩孚等人，“诸公仁慈为怀，务速赐转交，力予制止”。但是和军人商讨和平，就像是与虎谋皮，张作霖的回复也痛快，只要西北军放弃直隶、热河、京畿，奉系就跟北京的老少们坐下来商讨和平。
就在4月9日晚，北京警卫司令鹿钟麟忽然派出大刀队监视电话局，断绝所有通话，并派出大刀队、保安队5000余人分别把守九门和交通机关，由东单牌楼起断绝行人，将执政府团团围住，并解除执政府卫队的枪械。关于鹿钟麟的这次突然发难，坊间有两种说法，一种是说段祺瑞感到北京事态严重，于是派吴光新联络张学良准备里应外合迎奉军入京，还有一种说法是奉系的丁春喜和吴佩孚部的耿乃熙先后致电鹿钟麟，转达了吴佩孚的意思，说是只要驱除段祺瑞、恢复曹锟的自由，就有和谈的余地。吴佩孚的条件只是驱逐段祺瑞，自然比张作霖的条件好办很多，于是鹿钟麟决定发动政变。被围困在执政府内的段祺瑞惶惶不可终日，派人向鹿钟麟说明自己愿意下野，但是要求离开北京。段祺瑞毕竟是北洋元老，而此时局势亦不稳定，鹿钟麟自然不敢“放虎归山”，于是并未应允。11日早晨，趁鹿钟麟不备，段祺瑞带着亲信逃入东交民巷，并电令外交总长胡惟德暂代临时执政，但同时又表示“在此扰乱期间，所有捏造事实，假借名义之文件，概属无效”。12日，国务总理贾德耀通电外国驻北京的公使团，“径启者，顷因京畿警卫总司令鹿钟麟，突于本月九日深夜之际率兵围困府院，意图危害，以致一切政务之执行，暂时陷于停顿之状态”。
鹿钟麟驱逐了段祺瑞，释放了曹锟，本以为吴佩孚会对他大加褒奖，哪知道他们等到的却是“全体缴械”的最后通牒，鹿钟麟这下傻了眼，没有得到吴佩孚做盟友，反而开罪了段祺瑞，还让西北军的巨头张之江、李鸣钟、宋哲元等对他颇有微词，心慌意乱的鹿钟麟急忙派人赴天津请张绍曾入京主持政局，但张绍曾亦知道北京此时是一潭烂泥沼，说什么也不肯进京。另一边的胡惟德虽然当上了临时执政，但面对眼前的烂摊子也束手无策，只好跑去请王士珍出来维持政局，王士珍予以拒绝，胡惟德只好硬着头皮支撑。
逃进东交民巷的段祺瑞此时也已镇定下来，十余年仕途跌宕，什么场面他没有见过，但此时他对从政实在失去了最后的兴趣，环顾身边，他的左膀右臂俱已离去，只有曾毓隽还陪在他的身边。此时两位老友相对，亦是颇多感慨，可以说北京政变以后的段祺瑞对于涉身政坛再无兴致，而陪伴他一路走来的幕僚曾毓隽亦有心归隐。因此，有人传说，段祺瑞曾密令驻通州的国民军第九师唐之道放弃通州进入北京，因为唐之道所部原是吴光新的部队，所以段祺瑞与这支部队中的诸多将士均有私下往来。其实，规劝唐之道入京的，乃是王士珍、熊希龄、赵尔巽等人，承诺只要唐之道入京驱逐鹿钟麟，即以北京警卫司令之职相予。彼时的段祺瑞身在东交民巷无暇自顾，自然没有这些在京城呼风唤雨的名流说话管用，唐之道遂决定率兵入京。
外有吴佩孚电令缴械，内有唐之道忽然倒戈，鹿钟麟此时哪里还有据守京畿的本钱？15日，鹿钟麟率领西北军撤出北京，在张之江的命令下向绥远撤退。唐之道率部入京之后即任警备司令，段祺瑞和他的幕僚们亦从东交民巷返回吉兆胡同，同时发布通电，“曩临时政府开始，曾规定应办事项，此后是否按程继进，本执政听诸公论，当此乱极思治，不无贞下起元，共速拟妥善后，俾国政不致中断，佥谋朝同，初服夕具。本执政从容修省，得为海烟逸民，休养余年，所欣慕焉”。这封电文里不再有那种东山再起的万丈雄心，有的尽是壮士暮年的疲惫和苍凉，位高权重固然诱人，但壮心已老，不如归去。15日，国务总理贾德耀亦通电恢复办公，并于当天阁议决定免去对齐燮元、张志潭、张英华、吴景濂、刘永谦等人的通缉，免去鹿钟麟、卢信的职务。在复职之后，段祺瑞又委派曾毓隽前往天津，会同吴光新会晤奉系诸巨头，但奉系对曾毓隽和吴光新的态度非常冷淡。
1926年4月15日，王士珍、赵尔巽、熊希龄、颜惠庆、江瀚、孙宝琦、恽宝惠、王家襄、王宠惠、汪大燮、江朝宗、冯恕、周作民、张嘉璈、高金钊、师景云、吴炳湘领衔组成京师临时治安会，呼吁和平、维持治安、保护外侨。17日，国务总理贾德耀再次提交了辞呈，“此时若再辱高位，不特难资表率，尤恐贻误国家。惟有具呈仰乞钧座俯予即日罢斥，另简贤能，以重枢寄”。同日，贾德耀又致电冯玉祥，“惟德耀个人经此变故，外惭清议，内疚神明，已呈恳执政准予辞职”。
贾德耀要走便走，但段祺瑞却有点儿惶恐了，此时的他身在各系势力的围堵之下，进退两难，于是在17日分别致电张作霖、吴佩孚、阎锡山、孙传芳等，“纪纲应如何整饬？大局应如何奠定？公忠体国，不乏嘉猷。询谋佥同，必能善后。祺瑞以迟暮之年，既无希冀，复无成见，区区此心，谅获鉴察”，看到这段话的时候，感觉是真正应了那句“英雄迟暮”，段祺瑞当年统率皖系、掌握中央，是何等风光，如今这封电文，却字字透着一种无助的感觉，整封电报几乎就是一句话：哥儿几个，你们是放我走还是继续让我待着？
19日，奉系的张作霖率先复电，“法律政治问题，自有海内名流公同讨论，霖本军人，早经宣言不问政局”。张作霖的这封电报其实还算客气，开头称段祺瑞为“芝老”，至少还是将段祺瑞视为北洋元老，只是后面完全没有表态，完全是敷衍段祺瑞。但是对段祺瑞打击最重的还要数吴佩孚，吴佩孚不仅没有回复段祺瑞，而且还致电唐之道要拿办安福系的人，“该安福党祸国至此，尚敢横行都下，望从速将安福党人拘捕，并监视段氏，以便依法控其卖国诸罪”。吴佩孚不仅没有回电，还致电唐之道要拿办段祺瑞，而且直接给段祺瑞及其亲信安上了“卖国”的罪责，准备对皖系穷追猛打。
在获悉吴佩孚向唐之道发出的电文之后，段祺瑞仰天长叹，他已经是非走不可了。当天下午，段祺瑞在私邸召开会议，追随他的亲信幕僚们尽数赴会，段祺瑞将吴佩孚致电唐之道的事情公开，众人商议之后，一致决定尽快离京。段祺瑞随即下达三道命令，一面批准国务总理兼陆军总长贾德耀的辞呈，一面特任胡惟德署国务总理，一面宣布自己已经决定隐退，自当日起由国务院摄行临时执政权，“祺瑞忝居执政，一载有余，时局愈纷，心力交瘁”。随即派与奉系素有往来的吴光新到黄村疏通张宗昌部，乃于20日下午携家眷及吴光新、姚震、姚国桢、曾毓隽、梁鸿志、龚心湛、许世英、段宏纲、张树元、章士钊、曲同丰等乘坐专车抵达天津，离开了政局动荡的北京。
在专车经过廊坊时，段祺瑞不止一次询问身边的人，此处是不是徐树铮被杀的地方。在得到肯定的答复以后，这位老军阀难掩悲痛之情。段祺瑞崛起于袁世凯时代，其后六度组阁，纵横民国政坛十年之久，亦留下“三造共和”的美誉，但是刚愎自用，最终颓然下台，寓居天津，自号“正道居士”。一生对自己要求严格的段祺瑞，到卸任临时执政之后，竟然连一处房产都未曾置下，他在天津所住的鞍山道38号，乃是其妻弟吴光新的房产。不过，寓居天津以后，远离仕途的段祺瑞生活过得倒是很惬意，据段祺瑞的外孙女袁迪新后来回忆，“每天早上起来，外公（指段祺瑞）头件事便是念经诵佛，待吃过早饭，他的老部下王揖唐便过来，帮他整理编选历年来的诗文，准备刊印一部《正道居集》。午睡之后，外公照例是下围棋，晚上打麻将”。
皖系垮台之后的民国政局依然没有稳定下来，吴佩孚的直系与张作霖的奉系逐鹿中原，民国历史依旧在军阀的战火纷飞中艰难前行。此后的北京政局依然摇摆不定，但段祺瑞再也没有回到过北京，或许自徐树铮命断廊坊之日，段祺瑞便已经对政坛失去了兴趣。他的老兄弟冯国璋已经不在，最亲近的朋友徐树铮也已死去，好在最贴心的亲信曾毓隽、吴光新还留在身边，他的晚年并不寂寞。