第二次直奉战争前后的吴佩孚，活脱脱就如同两个人：之前的吴佩孚无坚不摧、攻无不克，孤军北上、奇袭皖系、鏖战奉系，可以说独领风骚、风头一时无两；之后的吴佩孚则是举步维艰、处处碰壁，攻河南、讨湘鄂、战南口，每一次都是陷入困境，束手无策。关于吴佩孚的成功和失势之路，总结起来其实就是一句话：胆大的吓死胆小的，会王八拳的打跑会把式的。皖系虽众，其实是乌合之众，给吴佩孚瞪着眼珠子跺了一脚，就吓得慌不择路、夺门而逃；直系虽强，但也只不过是外强中干，真碰上混不吝的奉系，花架子到底敌不过二话不说抛过来的板砖。
到1927年2月，孙传芳部已经只剩下苦苦支撑的份儿。直军蒋起凤和段承泽等部盘踞在宁海、绍兴一带，周荫人则将司令部设在台州，另一部在临海、黄岩一带。北伐军在分析过战场的情势之后，决定对浙东进行大举进攻，力争肃清浙东的直军。17日，何应钦率部抵达衢州，18日，白崇禧指挥中央军进占杭州，并以左翼军主力进攻临安、余杭，以右翼军攻占萧山。孙传芳部自杭州败退之后，收拢残部集结于松江、上海一带，此时直军褚玉璞部、奉军张宗昌部亦纷纷南下驰援。白崇禧先于19日进入杭州，何应钦则于23日抵达杭州，27日，程潜率领江右军主力向安徽的芜湖和湖北的宜城推进，毅然发动对安徽作战的同时，谋求尽快肃清在湖北的直军残部。
3月2日，何应钦终于见到了第十七军李生春部。这支部队自进浙之后，便找各种理由搪塞，举步不前，坐视北伐军与直军激战。他们本来是用以进攻周荫人残部的，结果连周荫人的影子都没有看到，何应钦遂命令第二路指挥官冯轶裴率部将李生春部缴械。至此，自江西之后，孙传芳统治过的福建也被北伐军接管。6日，程潜率右军主力进入安徽攻占芜湖，孙传芳所拥有的地盘越来越小。此时，奉军张宗昌部的先头部队毕庶澄部已经抵达苏州、上海一带，但毕庶澄没有即刻投入战斗，而是和北伐军私下开始了谈判。
奉军的先头部队在苏州、上海一带停留下来，而孙传芳部此时已经再也难以支撑下去，其内部开始走向分裂。驻防上海的第九师师长李宝章，就悄悄派出亲信到杭州向北伐军投诚，表示愿意将上海以及沪杭线交出，并且愿意率所部向南京、浦口推进迎击南下的张宗昌部，李宝章遂被任命为国民革命军第十八军军长。恰在此时，上海工人爆发了大规模罢工，要求孙传芳撤出上海。集结在上海的海军随即树起革命军旗帜，并派出陆战队在上海登陆。与此同时，孙传芳部的第六师陈调元部、第三混成旅王普部向北伐军投诚，皖南地区即被北伐军掌控。
孙传芳这个时候真的是众叛亲离，另一方面，奉军与直军在河南的战事也是一触即发。奉军派出张学良和韩麟春负责指挥，随即在11日下达总攻击令。战事一起，直军在奉军的进逼下连连后退，自白沙退至距郑州十五里的古城。13日，张作霖致电吴佩孚，电文中的口气已经完全没有了平日的客气：“敌来犯境，则退让未遑；友来假道，则屏绝不许。真不知宗旨安在矣？”15日，奉军分三路同时进发，将郑州团团围住。此时山西督军阎锡山又致电吴佩孚，表示愿意迎吴氏入晋，待稍事调整再出娘子关联手讨奉，吴佩孚并没有接受阎锡山的建议。
吴佩孚此时仍然能够调动的部队，只有在陕西的吴新田、在南阳的于学忠和驻守邓县的陈文钊。其他，如王为蔚、王维城等部已经投降靳云鹗，而寇英杰则远在开封。吴佩孚遂决定离开郑州，向东奔巩县而去。临行之前，吴佩孚下令自兼豫西防守总司令，并命令马吉第部守牧马集一带，刘希坚部守中平至黑石关一带，张席珍部守黑石关至洛阳一带，随后便挥泪离开郑州。在离开郑州之际，吴佩孚所做的安排主要是将京汉线让出来，当初奉军入豫，就是要借用京汉线南下，所以他出逃之际满足奉军的要求，亦是希望奉军不要赶尽杀绝。吴佩孚逃走之后，靳云鹗与奉军依然在连番激战，靳云鹗麾下第一猛将高汝桐阵亡，其所部陷入苦战，渐渐不支。
这一年的3月注定是动荡不安的，就在此时，北伐军围攻溧阳，16日，白崇禧提前命令所部各纵队向淞沪地区发动进攻。此时孙传芳手底下的江西、福建两省已经尽失，而安徽、浙江也已经名存实亡，所以他竭尽全力想要保住大本营江苏，多次发出急电敦促张宗昌部尽快南下。北伐军方面则希望尽快消灭孙传芳残部，以免奉系张宗昌部南下之后又陷入苦战，随即决定提前发动强攻。面对北伐军的猛攻，孙传芳部以松江为上海的西南屏障尽力抵抗，以铁甲车及所有炮火集中向北伐军的正面进行轰击。白崇禧乃以铁路货车车厢充作炮垒，并以中山号列车搭载将士增援，同时以总预备队为左翼，第二十六军为右翼，分三面进攻孙传芳部守军。
在淞沪战事爆发之际，北伐军以江左、江右两路军分向祁山、至德、潜山、霍山一线前进，程潜率江右军主力于17日占领当涂，先头部队随后进至采石矶、马家村一带，与东路军协定会攻南京。原来拨归东路军指挥的第二纵队亦于19日到达溧水，重归江右军序列。20日，孙传芳部第十五师师长刘宝题投效革命军，就任新编第三军军长兼江右军第四纵队指挥官。第四师在柘塘镇、第五师在曹村镇、第六师在洪蓝埤附近集结，程潜部开始向秣陵关、江宁镇一线攻击前进。
北伐军对孙传芳部松江守地进行连番攻击，孙传芳部守军遂向上海溃退。北伐军于1927年3月21日早晨占领松江，第二十一师趁势自吴江前进，于当日午间占领苏州，北伐军此后便分兵向上海市郊进逼。此时已经向北伐军投诚的海军杨树庄，则指挥海军陆战队向守卫上海的直奉联军发起进攻，并绕到敌后进行袭击。北伐军逼近上海，外国军队忽然在租界内鸣枪示威，并且越出租界在上海市区修筑工事，借故阻击北伐军前进。北伐军遂对外国军队施以强硬态度，逼迫外国军队退回到租界里。北伐军又对上海展开猛攻，将直奉联军包围在闸北地区，并将其全部缴械，奉军将领毕庶澄逃回山东。杨树庄被任命为国民革命军海军总司令，所部舰艇编为四个舰队：陈季良为第一舰队司令，陈绍宽为第二舰队司令，陈训咏为练习舰队司令，曾以鼎为鱼雷游击舰队司令。
安庆和芜湖是南京的门户，攻破安庆和芜湖之后，北伐军便可以直抵南京城下。孙传芳的主力部队和直奉联军毕庶澄部、常之英部在沪宁线和淞沪地区被击溃之后，便纷纷退至长江以北，北伐军迅即占领上海、苏州、常州、丹阳一带。北伐军江右军在当涂遇到一些抵抗之后，便长驱直入逼近南京。此时北伐军江左军则向皖中一带挺进，与陈调元部协同向津浦南段以及淮北地区逼近，南京附近仅有直奉联军一部，余部均已退至长江以北。褚玉璞部主力守备南京下关，一部在汤水、龙潭；粤军谢文炳、陈修爵等部，主力在江宁县，一部在淳化镇、龙都镇、秣陵关；张宗昌部第六军徐源泉部主力驻守陶吴镇，一部在江宁县，积极加固工事，准备固守待援；孙传芳及张宗昌则分驻于清江浦及蚌埠指挥。
北伐军则兵分两路逼近南京，白崇禧率领第一纵队、第二纵队、第三纵队进占上海、苏州，何应钦率领第四纵队、第五纵队、第六纵队占领横林、常州、丹阳。占领上海之后，设立淞沪卫戍总司令部，白崇禧担任卫戍总司令巩固淞沪防务。22日，何应钦抵达镇江，遂发现北洋军准备死守南京，于是急电白崇禧抽调一部与第五纵队乘车驰援南京。就在当天，何应钦所率第四纵队、第六纵队的先头部队已经进至栖霞、东流镇、汤水镇一线。
23日，北伐军江右军第二纵队鲁涤平部占领江宁县，然后进逼中山门、光华门；第三纵队贺耀祖部占领将军山、牛首山、幕府山，遂进攻通济门、武定门；第一纵队程潜部接连攻克大小山、马石山、西善桥一带，随即进攻雨花台。此时一败再败的孙传芳部早已再无战意。北伐军与吴佩孚激战两湖之际，吴氏军中尚且有一位刘玉春横刀立马，等到与孙传芳鏖战南京时，孙氏帐前却没有一位可以临危受命的将领。直奉军队几乎是狼狈逃入南京城，甚至连拒尾随之敌的工夫都没有。于是，北伐军便紧追着直奉败军由光华门冲入南京城，其余纵队则于是日晚进入城内，直奉败军纷纷逃至下关抢渡，逃回浦口。孙传芳号称以死力保的南京城，一日之内便被北伐军攻克。北伐军将领何应钦抵达上塘镇后，其先头部队业已抵达栖霞、东流镇一线，获悉南京已被攻克，何应钦随即命令第六纵队在汤水镇附近待命，第五纵队在无锡、江阴待命，自率第四纵队于25日进入南京。
武汉和南京对国民政府来说有着特殊的意义。武汉是辛亥革命爆发的地方，可以说是孙中山领导的革命力量在经过无数次失败的尝试以后，第一次取得成功，推翻了清王朝，创造了新的政体。而南京则是民国元年临时政府的所在地，后来因为袁世凯执意要在北京继任临时大总统，民国的首都才由南京迁往北京。北伐军在占据武汉、南京之后，攻势有所缓和，使得北洋军阀得以稍作调整。孙传芳接连战败，所部的将领纷纷在阵前倒戈，投降北伐军。他虽然率部退守长江以北，但是残部毫无斗志，据守下去怕也非常艰难。此时其亲信杨文恺、卢香亭见大势已去，就背着孙传芳逃回天津。据说蒋介石曾试图说服孙传芳，要他率部进攻奉军张宗昌部投降北伐军，戴罪立功。但孙传芳此时已是残兵败将，南下对北伐军无可奈何，北上亦招架不住奉军，他举棋不定，更加没有战意。
再说吴大帅吴佩孚抵达巩县以后，被国民政府委任为国民革命军第二集团军总司令的冯玉祥率部移驻潼关，自兼中央军总司令，以徐永昌为左路军总司令、孙连仲为右路军总司令、岳维峻为南路军总司令、宋哲元为北路军总司令，遂南下入豫。此时在洛阳附近驻防的刘镇华在被冯玉祥部击败之后，即暗地与冯氏联络倒向西北军，而驻守潼关的张治公部则投降奉军，潼关的情势变得严峻起来，西北军与奉军已经难免一战。
眼看着西北军和奉军就要在吴佩孚眼皮底下打仗，所谓“城门失火殃及池鱼”，看起来吴氏又要遭受战乱之苦。此时的吴佩孚，完全不复当初虎踞中原的威风，就像是一个颤颤巍巍的迟暮老人，在战火间寻找着能苟全性命的寸许乐土。张学良遂致电吴佩孚请其移居郑州，表示必以“老伯之礼相待”，但吴佩孚并不愿去郑州受奉系的颐指气使，而奉军也不愿意吴佩孚横亘在这里妨碍与西北军的交战，遂将吴佩孚驻扎在荥阳县的部队缴了械。吴佩孚知道巩县已经没有办法再待下去了，于是在1927年5月16日离开巩县，经嵩山、方城最后抵达南阳。
吴佩孚这一路行来颇为不易，此时的河南可以说是一团乱。北伐军唐生智部由京汉线北进，冯玉祥部则由陇海线东进，大有和唐生智部会师中原之势。而靳云鹗也取消了“保豫军”的名义，投降北伐军，通电宣布就任国民革命军第二集团军总指挥，投到冯玉祥麾下。当时驻防在南阳的于学忠率领的是第八军，但是第八军的组成比较复杂，有冯玉祥的旧部，也有靳云鹗的旧部，想让这些部队去攻打北伐军并不现实，于学忠的命令传达下去，几乎没有什么动静。吴佩孚到了南阳以后，整日都提心吊胆，生怕于学忠的部队哗变把自己抓了到北伐军方面邀功。于是吴佩孚思来想去，南阳不能久留，只是如今天地虽大，他却不知道该何去何从。
而唐生智部此时已经与奉军接触，接连攻克西平、漯河、上蔡等地，并在临颍与奉军展开激战，歼灭奉军逾万人，随后挺进郑州、开封。冯玉祥部也先后占领灵宝、陕县、渑池、新安，27日攻克洛阳，奉军军长万福麟乘火车东逃。随后，冯玉祥即命令孙良诚率部沿陇海线由东逼近郑州，以第五路军由洛阳经孟津、偃师向郑州进攻，骑兵集团则出巩县向荥阳县、郑州方面追击。第五路军于27日攻克孟津，28日攻克偃师，30日晚，唐生智部和冯玉祥部在郑州城下会师，随即对郑州展开猛攻。6月1日，唐生智部和冯玉祥部联手攻克郑州，又于2日占领开封。
4日，谭延闿、汪兆铭、徐谦、孙科、顾孟余、唐生智等接连抵达郑州，随即派出代表到潼关迎接冯玉祥。6日，冯玉祥抵达郑州，12日召开党政军联席会议，会议商定以陇海线以北、平汉线以东划归冯玉祥管理，唐生智则率部撤回武汉整顿。冯玉祥于是将所部原本的将士，以及投降北伐军的河南部队进行改编。自任西北军总司令，以孙良诚为第一方面军总指挥、以靳云鹗为第二方面军总指挥、方振武为第三方面军总指挥、宋哲元为第四方面军总指挥、岳维峻为第五方面军总指挥、石敬亭为第六方面军总指挥、刘郁芬为第七方面军总指挥、刘镇华为第八方面军总指挥。
洛阳、郑州、开封接连失陷，北伐军几乎已经占据了河南，吴佩孚此时不走不行了。可放眼天下，何处又是吴佩孚的容身之地呢？当初吴佩孚浮海南下，有湖南的赵恒惕收留，如今两湖俱已失守，唯一可以收留吴氏的只有四川军阀杨森。杨森是四川广安县人，原名淑泽，又名伯坚，字子惠，与“水晶猴子”邓锡侯、“巴壁虎”刘湘、“多宝道人”刘文辉、“王灵官”王陵基并称为“川军五行”，还是袍哥会的一名堂主，颇有江湖义气。但老河口的张联升不可靠，吴佩孚曾一度产生动摇，准备由驻马店过京汉线前往安徽，但安徽此时已经岌岌可危，吴氏最终还是决定入川。
吴佩孚于19日抵达邓县准备与于学忠会合，结果发现于学忠此时已经投降奉系，出任安国军第二十军军长，吴佩孚只好率部离去。但刚刚出邓县30里，就听说前面有军队阻截，于是就在附近的村庄田营暂时停驻，并派人前去探察，才获悉是于学忠部的马廷福、杨织云两个师在修筑战壕。恰在此时，驻防老河口的襄阳镇守使张联升派人联络吴佩孚，商议渡襄河的事宜，吴佩孚遂决定在老河口与樊城之间的太平店渡河。吴佩孚部由沟陵关前往太平店，在沟陵关午休时，当地士绅得知吴佩孚经过，于是前来求吴氏的墨宝，吴佩孚不忍拒绝，于是一一满足。午后忽然传来断断续续的枪声，吴佩孚的幕僚张其锽于是偕同秘书处人员率先出发，吴佩孚亦急催所部迅速前进，待行到三里外名为灰店铺的地方果然发生了惨剧，吴氏的心腹张其锽业已遇难。