1925年7月23日，是农历的六月初三，适逢吴佩孚的夫人张氏四十整寿，吴佩孚的朋友和部下纷纷赶到岳州祝寿。吴佩孚乃在富绅葛豪家中举行堂会，找来当地有名的戏班祝寿，到吴佩孚点戏时，吴佩孚提笔便点了一出《过昭关》。吴佩孚点的这出戏，自然是别有用意，《过昭关》讲的是名将伍子胥家破人亡，孤身逃到昭关，一夜白头，随后出了关去投靠吴王阖闾，最终帮助阖闾成就霸业，杀入楚国都城。当日吴佩孚浮海南下，颇似伍子胥，而此时泛舟湘江，吴佩孚心中所思，也是希望能如伍子胥一般东山再起。只是伍子胥遇到了吴王阖闾，而吴佩孚遇见的则是赵恒惕。
奉军不断败退，最主要还是顾忌背后的冯玉祥，冯玉祥的国民军横亘在南北之间，一旦有变，奉军就可能被冯玉祥部拦腰截断，到时张作霖就“叫天天不应、叫地地不灵”了。为了探听皖系与冯玉祥部的意思，张作霖在19日先致电段祺瑞，表达“霖为国家大局计，力戒所部节节退让，悉本钧座和平为国主旨”的意思，同时又派郭松龄携函赴包头会晤冯玉祥，“往年同讨曹吴，急图罢兵，余孽未清，为功不卒。今孙传芳已发难，吴佩孚将报仇，仍愿同心定难，唯力是视”，冯玉祥随即电复张作霖，表示“惟盼和平救国，中原之事祈先努力，敝部在京，可归兄调遣”。其实，此时冯玉祥与郭松龄已经在背后密谋事变倒奉，给张作霖来个措手不及。
张作霖的信函中有“吴佩孚将报仇”句，其时湖南的吴佩孚确实已经有所动作，吴氏要东山再起，首要依赖的就是赵恒惕。赵恒惕当年邀吴佩孚南下，便是做好了两手准备，吴氏虽然暂时失势，但毕竟不是泛泛之辈，一旦风云际会，届时吴氏再起，他便可顺势而为。若是吴佩孚得不到再度起势的机会，则留一只猛虎在湘，南北各势力亦不敢轻举妄动，实则也是为自己多了一条臂膀。吴佩孚如今有意东山再起，四川督军杨森首先表示愿意遵从，贵州军阀袁祖铭当初是依靠吴佩孚的支持才回黔驱逐了老派军阀刘显世，亦愿意追随吴氏。
萧耀南仍然不愿意参与其中，于是派师长陈嘉谟到岳州会晤吴氏。陈嘉谟告诉吴佩孚，萧耀南不希望吴氏进入湖北，但陈氏个人却愿意追随吴氏。其实不仅是陈嘉谟，萧耀南的另一得力干将寇英杰亦愿意追随吴氏，这样一来，萧耀南虽然有心继续固守湖北保持中立，却已经无能为力，只好复电恭迎吴佩孚出山。同时，湖南的赵恒惕见吴佩孚羽翼已丰，亦加入吴佩孚的联军，吴氏即手握湘鄂黔川四省兵权，其声势比之直奉战争之前犹有过之。20日，吴佩孚在岳州发布通电，表示“救国锄奸，岂容袖手”，决心“再与天下群雄共角逐”。
21日，吴佩孚乘决川舰抵达武汉，萧耀南率湖北的文武官员到江边迎候，与当年吴氏离开武汉之时形成天壤之别。吴佩孚遂在武汉成立“讨贼联军”，并自任总司令，22日发表外交宣言，尊重已经签订的各项合约，只是希望各国不向奉军和冯玉祥部提供任何武器及经济帮助。而就在同日，被孙传芳击败的杨宇霆一路逃回奉天，奉军此时已经获悉“孙传芳发难、吴佩孚报仇”的情形成为现实，于是在当晚召开军事会议，张作霖决定派四个师两个混成旅入关，守京奉、津浦两线，在安排将领南下布置军事的同时，电令直鲁苏皖防御总司令张宗昌率领所部阻击孙传芳和吴佩孚的部队。
24日，吴佩孚发出通电宣布讨奉，任命萧耀南为讨贼联军鄂军总司令兼后方筹备总司令，陈嘉谟为副司令，任命寇英杰为鄂军第一路总司令，陈嘉谟为第二路总司令，卢金山为第三路总司令，马济为桂军第一路总司令，袁祖铭为川黔军总司令，邓锡侯为副司令兼川军第二路总司令，刘湘为川黔后方筹备总司令，刘存厚为川军后方援军总司令，杨森为川军第一路总司令，赖心辉为川军第三路总司令，王天培为黔军第一路总司令，彭汉章为第二路总司令，周西成为第三路总司令。另外，吴佩孚积极组建总司令部，任命参谋长为蒋方震、秘书长为张其锽、总参议为章炳麟、军务处处长为张福来、外交处处长为张志潭、交通处处长为高恩洪、秘书帮办为杨云史、高级参谋为张方严等，其人才之盛，即便是段祺瑞的临时政府也相形见绌。
吴佩孚声势鼎盛，各地的军阀也竞相依附。其中反应最快的当数五省联军总司令孙传芳。当初吴佩孚失势之际，曾想联手孙氏成立“护宪军”，他是头一个站出来否认与吴佩孚的通电，如今吴佩孚东山再起，他又是拥护吴氏的急先锋。而在南京与孙传芳难以共存的齐燮元，也匆忙赶赴武汉投靠吴佩孚，吴氏便给了他一个讨贼联军副司令的职务。
除了各地的军阀，也有一些之前失势的人纷纷赶往武汉，希望能够借助吴佩孚的东山再起而捞到些油水。先是吴景濂率领大批参与贿选的议员赶往武汉，恭请吴佩孚组织“护宪军政府”，为曹锟平反的同时洗去他们身上的污点。直系之分裂便自曹锟一心要做总统始，贿选总统更是让曹氏身败名裂、直系一蹶不振，当初曹锟欲选总统时，头一个反对的就是吴佩孚，如今吴景濂等居然来找吴佩孚为贿选翻案，吴氏必然对他们不予理会。
吴佩孚在查家墩再起之时，奉军与孙传芳仍在对峙，奉军经过开会研究，决定以徐州为根据地固守。张宗昌担任直鲁苏皖防御总司令后，委派姜登选为前敌总指挥，将其所部直鲁军分为七军：自兼第一军军长，方永昌为副；施从滨任第二军军长，毕庶澄为副；孙宗先任第三军军长，程国瑞为副；褚玉璞任第四军军长，吴长植为副；许琨任第五军军长，张堵荣为副；第六、七两军则来不及成立，全部兵力约12万人。以东面的邳县、西面（即陇海线）的砀山和南面（即津浦线）的宿州构成三条防线。而孙传芳方面亦以三路进攻徐州，中路以卢香亭、谢鸿勋、陈仪等部会同皖军一部由蚌埠前进；东路白宝山、马玉仁部苏军由宿迁前进；西路皖军及陈调元部由永城前进。
徐海战斗刚刚开始之际，张宗昌的三条防线还算稳健，面对孙传芳部的进攻没有出现什么漏洞。随后，张宗昌更是发现孙传芳部负责东路进攻的白宝山部只是疾进，根本没有做好防御的准备，于是命令邢士廉、孙钵传集中转守为攻，奉军以逸待劳，白宝山部节节败退，随即海州、宿迁接连失陷。孙传芳惊闻战败之后，遂致电马玉仁阻击奉军，于是直奉两军在杨庄、西坝、王营等地连番激战，奉军再难逼近。就在奉军东路陷入僵局之际，直军却在任桥取得重大胜利，全歼张宗昌的白俄军队，并俘虏奉军大将施从滨，张宗昌在徐州闻讯之后急忙赶赴前线督战，并调孙宗先、方永昌两军驰援南线。
白俄军队是一支“国际纵队”，当年张宗昌在第二次直奉战争中一战成名，倚重的就是这支部队。因此，张宗昌将这支部队交给了其最为信赖的将领施从滨，并任命施从滨为前敌总指挥。授命之后，施从滨即率部从兖州、泰安防地出发，攻占蚌埠。当施从滨南下的时候，孙传芳连发三封电报给施从滨，希望施从滨能作为内应倒戈，帮助孙传芳击溃张宗昌部，但施从滨根本没有理睬。于是在施从滨兵败被俘之后，孙传芳就于当晚将施从滨杀害，将其尸体弃置荒野数日。孙氏万料不到，正是此事，为他十年后遇刺埋下祸根。
张作霖在南受到孙传芳的连番打击，在北则受到冯玉祥的牵制，因此对吴佩孚便极尽笼络，尽量避免交战。而此时吴佩孚北上的部队，亦在河南受到阻碍。在起兵之后，吴佩孚原本派出两路部队讨奉：一路以靳云鹗为主将，由陇海线东进；一路以寇英杰为主将，由平汉线北进。其意在于切断张作霖的两翼，即左翼的山东督军张宗昌和右翼的直隶督军李景林。但是吴佩孚要出兵山东和直隶，就必须经过中原腹地，吴佩孚便派人去和河南督军岳维峻商量，调出吴佩孚的旧部陈久钊、王为蔚、王维城等，由陇海线进入山东，同时以寇英杰率部由平汉线经过河南进入直隶。
吴佩孚的旧部陈久钊、王为蔚、王维城等在吴氏战败之后依然拥有军权，拥兵一隅暗中与吴氏联系，是河南督军岳维峻的心腹大患，如今吴佩孚要调走他们，岳维峻自然是乐意得很。但关键在于寇英杰部要经豫入鲁，穿过河南腹地，这对岳维峻来说就难以接受。恰在此时，冯玉祥密电岳维峻，要他武装保境，以防吴佩孚部在河南作祟。岳维峻于是以重兵布防河南、湖北边境，不许吴佩孚部出武胜关。民国三大军阀的政治战能力，以皖系最强、奉系次之、直系最差。吴佩孚不懂变通，几度因为意气用事而贻误契机，而冯玉祥亦是凭着一时之气，所部国民军孤守直隶，身陷重围，连奉军尚且向吴佩孚示弱，冯玉祥既不南下亦不西去，竟然想着凭一军之力左右局势。
就是在这个时候，由叙州退回山东的张宗昌，忽然在山东公然拥护起吴佩孚来。张宗昌原本是山东人，早年间闯关东北上，与吴佩孚原本就有同乡之谊，虽然吴佩孚看不起张宗昌，但张宗昌却佩服吴佩孚。早在第二次直奉战争之后，他就打着“山东人不打山东人”的口号收编了大量吴佩孚的残部，当吴佩孚在查家墩东山再起时，他就密派代表樊潜和、童好古到汉口去见张其锽，希望吴佩孚能够联奉抗冯。而张作霖也及时向吴佩孚示弱，派苏锡麟到汉口向吴佩孚企望达成和解，并提出“释放曹锟，退出关外”等条件来换取直奉再度联手。1925年11月，奉军大将郭松龄忽然发动倒戈，联手冯玉祥对付张作霖，使得张作霖几乎坐以待毙，也逼得张作霖最终与吴佩孚站在一条战线上。
1925年的冬天，冯玉祥接连做了两件备受争议的事情，一是杀掉徐树铮，二是联手郭松龄倒奉。杀徐树铮的争议，主要是因为冯玉祥“公报私仇”，为了帮亲戚兼上级陆建章报仇杀了徐树铮，徐树铮虽然在皖系飞扬跋扈引得北洋系军人纷纷不满，却从来没有人真正严惩小徐，只因他曾出兵蒙古，是举国上下称赞的英雄，没有人愿意背上屠戮英雄的恶名。但对冯玉祥来说，哪怕是背上这个恶名，他也必须要杀徐树铮，早在陆建章被杀时，为了安抚冯玉祥，皖系曾授予他湘西巡阅使的职务，媒体与坊间也因为冯玉祥不过问陆建章被杀一事而对其颇多讥讽之词。
其实陆建章这个人，为人阴险狠毒，所以徐树铮杀掉陆建章，很多人虽然感到震惊，但是也没有多少人站出来为陆建章说话。冯玉祥自然也知道自己这位舅舅及老上级的性情，陆建章素来得到袁世凯的信任，杀人不眨眼，在北洋系内有“阎王”的称谓，据说只要是被陆建章请去吃饭的人，散了席以后往往都会吃枪子。这么一个人，老百姓自然认为死不足惜，但毕竟是冯玉祥的恩人及亲人，冯玉祥毫无反应就有点儿说不过去了。冯玉祥其时刚刚经过武穴通电之事，受到皖系的疑忌，如今时过境迁，皖系失势，天下人都知道小徐上京冯氏要动手，他若是不动手，势必就继续背着“不仁不义”的骂名，所以以彼时的情势，真是逼得冯玉祥不动手不行。
如果说杀徐树铮自是有冯玉祥个人的苦衷，那么联手郭松龄倒奉则有一些莽撞之嫌。奉军中自恃盛名的人有的是，但真正能打仗的将领不多，郭松龄就是其中之一，郭松龄是张学良的爱将，亦是张学良在军事上的老师。郭松龄反奉的原因很多，既有国恨也有私愤，冯玉祥联郭反奉本不是一个下下之策，但是反奉之后，郭松龄即进攻沈阳，而不是先和冯玉祥合兵一处，这可以说是冯、郭联手最大的败笔。彼时郭松龄虽然掌握着奉军大部分部队，但张作霖并未到无将可调、无兵可用的绝境，再者南边还有李景林，此人并不是坚决的反奉派，最后也是很关键的一点，郭松龄选择在隆冬季节举兵，希冀速战速决，却对后果估计不足。结果，郭松龄部与张作霖部陷入苦战，在严寒天气里难有作为，最终在日本关东军的帮助下兵败被杀，也将冯玉祥推入绝境。
当郭松龄反奉的时候，还有一个可以一举击溃张作霖和冯玉祥的良机，那就是身在武汉的吴佩孚。吴佩孚本来备有一支奇兵，派宋大明为吉林讨贼第一军总司令，刘希圣为副司令，二人的司令部设于双城子，双城子距绥芬河仅有一小站。但郭松龄兵败之际，吴佩孚却不欲乘人之危，于是下令撤销宋大明、刘希圣奇袭东北的计划，并且调回已经准备进攻山东的靳云鹗。随着郭松龄兵败，张宗昌和吴佩孚组成联盟，也就意味着直奉达成再度合作，本来春风得意的冯玉祥顿时陷入困境。至此时，身在京畿的冯玉祥就陷入直系的吴佩孚和孙传芳、奉系的张作霖和张宗昌的包围之下，四面楚歌的冯玉祥只好通电下野。
冯玉祥在1926年元旦正式通电下野，任命张之江为代理国民军总司令，张之江是西北军“十三太保”之首，在军中被称为“大主教”，素来最得冯玉祥信任，当初执行杀徐树铮任务的就是此人。冯玉祥在通电中称吴佩孚“学深养粹，饱受挫折”，意在讨好吴佩孚，以示自己主动隐退之后，西北军力量削弱，好使吴佩孚去进攻奉系，既能一泄怨气，又能坐山观虎斗。但是吴佩孚与冯玉祥实在是不共戴天，即便冯玉祥主动下野，依然不肯放过其所部的西北军，一心只想打上北京。
郭松龄兵败，奉系与吴佩孚部结成联盟，而河南督军岳维峻公然阻挡吴佩孚部北上，河南之战就无可避免。吴佩孚乃以手下大将陈嘉谟留守湖北，以靳云鹗出兵山东，以寇英杰出兵河南。1月底，吴佩孚通电斥责冯玉祥“巧于遁饰，更肆毒谋，伏处平地泉密筹饷械”，是“假下野”，随即以寇英杰为总司令，责令贾方兴、贺国光、孙建业、宋大霈、余荫森、陈德麟六旅先发入豫。但寇英杰一入河南便在信阳遇上了“一手烟枪、一手步枪”的陕军第二师蒋世杰所部，蒋世杰虽然是有名的大烟鬼将军，但他的部队却以不怕死而闻名，寇英杰久攻不下，使吴佩孚“常胜将军”的威名不复。因为吴佩孚催促日紧，寇英杰不得不发出假捷电，气得吴氏差点儿骂娘。