奉军的溃败，首要原因并非是北伐军，而是张作霖。经过郭松龄倒戈之后的奉军，其实精锐尽失、元气大伤，当初吴俊升、张作相、王永江、张学良、韩麟春等奉军将领都主张休养生息，然后再图关内，但是在杨宇霆的鼓动下，张作霖急于入主关内，于是入关之后马不停蹄地与吴佩孚、孙传芳、冯玉祥、靳云鹗、阎锡山以及北伐军交战。自身旧恙未愈，又多线作战，饶是连克强敌，但也成了强弩之末。待蒋中正举北伐军进击京畿，力竭而又老迈的奉军哪里还是黄埔健儿的对手？
1927年10月26日，张学良到松林店视察防务，随即下令于翌日早晨对涿州再次发动进攻。奉军以重炮做掩护，备妥泥沙五万袋、木杆数千条用以攻城，而守城的晋军亦在城墙挖掘深穴，并备妥大量满盛沙土的麻袋，城垣被轰出缺口，即以沙袋堵塞。27日，奉军对涿州发动猛攻，晋军则以机关枪和手榴弹迎击，奉军没有任何收获。30日，奉军第四次进攻涿州，以张学良的卫队旅为中坚，万福麟亲抵前线督战，涿州两次被重炮轰开，但是仍然没有被奉军攻克。
两军对峙涿州之际，京绥线方面则进展顺利，奉军接连攻克柴沟堡、怀安、天镇、阳沟等地。11月3日，奉军进抵大同，并自大同向南发动进攻，而后进至山阴县。奉军的右翼则进抵朔州，正面逼近广武、雁门。张作相率主力部队移驻浑源，在平型关的奉军于芷山部、在龙泉关的王树常部越过沙河镇和天营镇，进攻繁峙、五台。晋军将领商震移驻代州督师雁门、繁峙，阎锡山则坐镇太原指挥五台、娘子关的战事。9日，汤玉麟部的郭希鹏师占领绥远省城，奉军进至包头。14日，奉军占领平型关。
17日，奉军五攻涿州城，仍然不克，而晋军此时业已退回山西依险据守。奉军方面在激战之余，则需要休养，加上此时已值隆冬，严寒天气，地势生涩，奉军便不欲轻敌激进。平型关方面战事虽一度吃紧，但随着气候变得寒冷，加上山岭崎岖，道路泥滑，奉军自感行军艰难，所以也没有急进。阎锡山缩短战线之后，兵力便可以集中，而奉军进入山西则需要面对物资运输上的困难，是以固守为主。
12月7日，奉军派出正式代表偕同北京的慈善团体代表及山西旅京同乡会代表持白旗进入涿州，与傅作义接洽和平让出涿州城，傅作义乃提出以全师退回山西为和平让出涿州的条件，奉军无法接受傅作义的条件，和谈遂没有取得任何结果。10日，张学良、韩麟春自保定抵达北京，13日，韩麟春又自北京回到奉天，因为涿州一时难以攻克，加之时值隆冬，天寒地冻，张学良遂选择采取长期围困的方法，待涿州不攻自克。
傅作义虽然据守孤城、五退奉军，但无奈北方进入隆冬，城中的供应也难以为继，他纵有守城之志，手下将士也难有守城之心。傅作义乃致电阎锡山求援，“我军……若能火速反攻，则职等为牵制计，于旬日内当日食一餐，以竟全功。不继则以草根树皮济之，舍此则报国虽切，无能为也”，阎锡山很快就复电傅作义等，“众志成城，何虑金汤不守”。阎锡山的这封电报，就是给了傅作义一张没有保证的饭票。
傅作义哪里还能等到“与三晋袍泽会定幽、燕”的时候，城中的军民都已经断炊多日。傅作义想要率部突围，召集部下的时候，只见所有将领“头脚已肿，伤病累累”，站着都打晃，别说是突围了。既然身处绝境，傅作义只好向奉军寻求和谈，在坚守百余日后，于1928年2月7日开城投降。随后傅作义被张学良软禁，所部残兵则被驱散，涿州城才终于被奉军控制。
晋奉战事进入僵持阶段之际，国民政府则完成了“宁汉合流”，到1928年原本卸任的蒋中正再度出任国民军总司令。蒋中正复任之后，便继续推动国民军北伐，他先是调第四军缪培南部由粤入赣，方振武部自信阳开赴归德，方鼎英部自粤经赣、浙转而入苏，钱大钧部自粤经闽、浙而入沪，另外又命令散驻皖、赣、苏、浙的国民军准备出发。随后到开封召集冯玉祥及第二集团军总参谋长刘骥、山西阎锡山代表邵某、第一集团军总参议何成浚、总司令部参谋处长葛敬恩等共商大计。
奉军方面亦在北京两次召开军事会议，积极为即将到来的决战做准备。经过商议，奉军决定对京汉线、津浦线均采取守势，而选择对山西展开最猛烈的攻势。其中，以张学良的第三方面军、第四方面军和张作相部进攻山西，另自张学良部抽调一部固守京汉线，褚玉璞、孙传芳、张宗昌则置于大名、济宁、临沂一带，以防御南方的国民军。奉军的意图是先占据山西，尔后向南发展。
4月1日，北方的土地刚刚解冻不久，北伐军便已经开始对奉军发起进攻。7日，二次北伐开始，北伐军第一军团集结于徐州东方八义集、大许家、贾旺、利国驿及徐州附近，第二军团集结于海州、新安镇、运河北站附近，第三军团集结于丰县、沛县附近，第四军团集结于单县、城武附近，另将第二军团孙良诚部置于曹县、菏泽附近，意图集中优势兵力，以两翼包围击破鲁南及济宁地区的奉军主力，然后进抵济南。
1928年4月10日，奉军在与北伐军的作战中接连丢失禹王山、胜阳山、王母山、车辐山，在当晚丢掉台儿庄后退至峄县。11日，奉军丢失王庄及郯城，于13日丢失韩庄、沙沟。14日，孙传芳在江苏、山东边界的丰沛一带进行反攻，以声援张宗昌。而张宗昌则亲抵前线督师，饶是如此，奉军仍然无法阻挡北伐军的反复冲击，只好撤出临城。北伐军于18日攻克滕县，19日攻克邹县及曲阜，20日攻克兖州，将退守峄县的奉军围歼。
张宗昌的部队在奉系中是人数最多的，但名目番号不整齐，每军的人数众寡也不同，各军军长兼任师长几乎成了惯例。至于军纪，更是在奉军中垫底，能够在奉军中立足只是因为张宗昌部素以骁勇见长，需要冲锋陷阵的时候决不含糊，加上其督军山东，所谓“天高皇帝远”，治军严苛的张作霖也鞭长莫及。所以张宗昌擅长的是打乱战，对方没有弄清楚怎么回事，他一顿劈头盖脸打将过来，就算不能打得对方找不着北，也能唬得对方找不着北。当时北洋的将领提到张宗昌的部队，都认为是张牙舞爪的怪物，加上张宗昌所率的白俄军团，都是“红毛蓝眼珠子”的洋人士兵，战斗力姑且不论，震慑力是有的。
但是和北伐军遇上，张宗昌的这些能耐就不顶用了。北伐军的官兵都是热血青年，加上接受过黄埔军校的正规军事训练，张宗昌这种乱战的打法不但没能打乱敌方的部署，反而先自乱了阵脚。长处既然被遮盖，短处也就暴露出来，因为人员构成复杂，打起仗来也谈不上有什么章法，因此一旦开始撤退，就是一盘散沙般的溃退。《曹刿论战》里说：“吾视其辙乱，望其旗靡，故逐之。”张宗昌的部队一溃千里，大片大片的地方给北伐军占去，也就不难理解了。
在兖州、济宁被北伐军占据之后，张宗昌和孙传芳即退至高吴桥、马坡、泗河、官庄、大厂各附近，之后又退到博山、泰安。张宗昌准备凭借泰安据守，而孙传芳则以五个师退守肥城，又以三个师固守城外刀山谷、凤凰庄一带，和张宗昌部呼应，余下两个师则归马宝珩指挥，置主力于万德、界首。23日，北伐军对张宗昌和孙传芳发动进攻，25日，北伐军贺耀祖部自大舍、大石桥线向店台、长城、大万德、小万德等地逼近，方振武部则猛攻肥城。
张宗昌的部队打乱战在行，真刀真枪地对抗完全处于下风，而直系军阀孙传芳的部队同样不堪一击。其实孙传芳的部队原本是最有战斗素养的，虽然也不至于强到何种地步，但也不至于像张宗昌的部队那样溃不成军。问题在于，只靠利益维系的部队，心理素质是一个很大的弊端。古代的军队，有忠君思想在维持；北伐的国民军，靠的是推翻军阀的革命思想；只有北洋军阀这特别的一群，他们不知道自己是为什么在征战，所以对方以命相搏的时候，他们首先考虑的就是“留得青山在”。
北洋军阀的高级将领当然有奔头，升官发财、妻妾成群。在张学良晚年的回忆录中，率直的少帅坦承自己有十几个情人，其实在民初这真不算什么，“狗肉将军”张宗昌有“三不”，其中之一就是不知道自己有多少姨太太，更遑论情人。在这一点上，至少张学良还数得过来。上面的人有奔头，下面的普通官兵呢？求的就是一口饭，填饱肚子，活着，为了这么点儿微末企望，去为长官抛头颅、洒热血，有是有，恐怕比例也不会太高。其实军队的思想工作，从北洋军阀成立之初就是个棘手的问题，各派军阀为了这件事也是伤透了脑筋。但是从袁世凯到张作霖，一直都没有想到更好的方法，作为夹在新旧时代之间的北洋系，尴尬地在历史中寻找着自己的位置。他们身在民国，靠革命这个幌子走到台前，但是自袁世凯开始，他们叫嚣着革命，不但并不理解革命，而且惧怕革命。所以，北洋时代无血战，他们打不起来，士兵们更打不起来，矛盾的是，他们也害怕打起来。
几代北洋魁首，都梦想过“武力统一”，从段祺瑞、吴佩孚到张作霖，但是始终不能完成这个夙愿。因为，有很多人仍然认为和谈可以统一，南北分歧不就是地盘、银元的分歧吗？力主和谈的北洋元老，以为民国了就是革命成功了，他们根本不知道孙中山的革命究竟意味着什么。待国民军北伐，统一和革命再次成为时代的口号，不革命的人最终被革命的人打败。
战斗继续到1928年5月1日，张宗昌和孙传芳再也挨不下去了，于是他们以济南陷于孤立为由，向德州撤退，北伐军遂攻占济南，刘峙进驻山东旧督署。消息传到北京，张作霖便又想倡导和谈，然后率部退至关外，不问关内政治，这是张作霖第一次直奉战争后用过的伎俩。这是奉系有别于其他北洋派系之处，皖系、直系一旦兵败都是无家可归，而奉军兵败则尚可退回关外自保。
而且战争发展到这个时候，和之前的北方混战完全不同。击败张勋，是直皖联手；段祺瑞垮台，则是直系与冯玉祥联手；驱逐冯玉祥，则是直奉联手。但是到国民军北伐，奉军连吃败仗，张作霖却找不到可以联手的北洋袍泽，直系的孙传芳可没有吴佩孚东山再起的豪情，张宗昌号称鲁督也不过是奉系的将领之一。但就在张作霖准备出关之际，有人向其进言，北伐军此时战线过长，而且多是南军，不适宜北方的水土，而冯玉祥和阎锡山又是善变之徒，与其急于退回关外，不如先固守京畿，以待变局。
其实这个主意，真的完全是瞎出主意。当时正是春夏之交，气候宜人，纵然是南方人也不至于很快水土不服，再者说北伐军中也有很多北方人，怎么存在水土问题？至于北伐军的战线过长问题，彼时长江南岸俱已在国民军掌握中，西北又有阎锡山、冯玉祥响应，战线早已逐渐拢向京畿一带，不是拉长，反而是在缩短。
至于阎锡山和冯玉祥的“善变”，则是奉军的一厢情愿，没有分析到根本处，此时阎、冯之间有共同利益，正是同仇敌忾之时，怎么可能会突然倒戈？这个主意，实在是真正的馊主意。
但是，张作霖竟然接受了这个主意。在北伐军占领济南以后，张宗昌等于是完全失去了在山东的根据地。张作霖本着固守京畿的想法，下令奉军全线总退却，并重新开始调整防线：以德州、顺德为第一道防线，以沧州、石家庄为第二道防线，以马厂、保定为第三道防线。并调派孙传芳部驻扎于大城及其以西地区，保护直隶境内津浦线的正面，以张宗昌及王琦部据守于沧州附近。
北伐军随后则于6日进占晏城镇，9日占禹城，11日占恩县，13日占德州。15日，阎锡山趁着国民军北上之机，对奉军实施反攻，张学良、杨宇霆则率安国军第三方面军团和第四方面军团与阎锡山部对峙于方顺桥附近。17日，冯玉祥部的郑大章骑兵军突然全部撤退，阎锡山遂就此事致电冯玉祥，冯氏复电表示“各军部署须加整理，其津浦、京汉间残敌极多，京汉方面前进不无顾虑”。冯玉祥的顾虑不无道理，但这样一来，便让奉军少了诸多顾虑，于是调动中路部队向晋军的两翼发动进攻。
早在4月间进军山东的时候，国民军蒋中正、冯玉祥和阎锡山就曾决定会师平津。在攻取山东之后，蒋中正的第一集团军因为山东发生五卅惨案只好绕路而行，冯玉祥见第一集团军迟迟不到，不敢率第二集团军孤军深入，于是便停驻于石家庄、武强、阜城一线，从而造成阎锡山的第三集团军在定县、望都、方顺桥、完县一线独自抵抗奉军。
晋奉在方顺桥激战，阎锡山死伤惨重，于是屡次致电蒋中正和冯玉祥乞援。蒋中正于是疾驰至前线，以朱培德为第一集团军前敌总指挥，电令冯玉祥集结于庆云、南皮、交河、武强、晋县、正定一线随时准备进攻。
25日，奉军自高阳、河间调集大军向定州、清风店一带发起猛攻，使晋军杨爱源部受到重大伤亡，不得不退守到东亭、安国。27日，奉军向永丰镇、王家庄发动猛攻，双方在前线展开拉锯战，阎锡山一面命令部队坚守待援，一面飞调定县、石家庄的预备队绕到奉军侧背进行攻击，到28日，永丰镇、王家庄之围终于告解。阎锡山随即命令晋军向阳城、天台寺、郑家庄、张登镇进逼。
就在同日，国民军对奉军发动总攻，而张作霖亦电令奉军各部队予以反击。奉军向满城、康关一带出击，随即进占康关。此时晋军李培基部、杨士元部自雁门驰援康县，阎锡山又调派张荫梧军出满城进击奉军侧背，遂将康城的局势逆转。同时，晋军张荫梧部自武山绕到奉军侧背进行猛攻，而吴藻华部则进攻一亩泉附近的奉军，经过两昼夜的激战，奉军于30日将吴藻华部包围。午后3时，李生达亲率执法队督战，绕到奉军侧背猛攻，双方甚至展开肉搏战，终于将奉军击退。