心高气傲的张作霖在吴佩孚面前栽了一个大跟头，这个跟头大到让他险些丢掉了自己苦心经营起来的基业。其实以双方的实力而言，张作霖本不至于输得这么难看，但在这场北洋系旧势力之间的对决中，更熟稔旧式游戏规则的吴佩孚始终占据主动——在电报战中占尽优势，正面作战时又动用各种手段。套用那句用烂的话，张霖不是输在吴佩孚手里，而是输在了自己的手里。但是还好有张学良和郭松龄，将直军挡在了山海关前，张作霖带着败兵退回东北，但属于他的时代还没有落幕。
1922年4月29日，直军向奉军西路部队展开猛攻，在良乡、长辛店间的南岗洼展开激战。琉璃河方面的直军进攻猛烈，陷于困境的奉军被迫后退。张景惠闻讯后，率卫队60余人亲抵前线督战，才再次将阵地夺回。随后，张景惠指挥的暂编第一师张乐山旅和朱益青的骑兵团向直军接连发起猛攻，从而迫使直军后退。张景惠虽然一度取得优势，但由于他慌忙赶到前线，仓促应战，对部队的指挥非常失当。彼时张景惠所部的预备队以及炮兵多数还没有参战，整个部队呈现一片混乱的态势。
30日，战报忽然传来，暂编第一师梁朝栋旅被直军打得接连后退，张景惠遂派邹芬的第十六师驰援。但邹芬自蒙古刚刚被调回，随即开赴前线。第十六师原本是直系将领冯国璋的旧部，原来的师长王廷桢被张作霖驱逐之后，就改由奉军将领邹芬继任，第十六师官兵原本就和直军颇有渊源，张景惠派这支部队去进攻自己原来的友军，他们自然牢骚满腹，抓到机会便可能倒戈，或者是不战而退。更为糟糕的是，他们刚刚到达前线，邹芬就受了伤，自前线被运回，第十六师军心大乱，遂开始后退，代师长缪承良无法指挥部队，于是畏罪自杀。张景惠亲抵阵地，欲阻止第十六师撤退，哪知道其中一部忽然哗变，调转炮口向奉军暂编第一师的阵地狂轰。
眼见战斗不力，张景惠遂决定借助火力掩护，以奉军郑殿升的暂编第二旅和牛永福暂编第六旅袭击直军在丰台至南苑一带阵地。吴佩孚趁机以重兵猛攻奉军正面，又以奇兵绕到奉军后方进攻，此时正值张锡元旅和李鸣钟旅驰援而至，乃以张锡元旅自西路正面进攻，以李鸣钟旅由京北大灰厂、三家店、门头沟绕到奉军的侧后方。直军控制卢沟桥，使奉军腹背受敌，加之炮弹告罄，奉军遂陷入苦战。5月3日，吴佩孚获悉奉军已经撤退，便命张锡元旅继续追击，于当日追击到黄村，此时固安中路的奉军已经被消灭。
4日，张作霖闻讯后赶到落垡亲自督战，但此时业已难挽颓势。此时东路军虽然占据主动，但不意张学良负伤，等得到西路军丢失长辛店的消息后，也开始撤退。张作霖只好退回天津，随即下达总退却令。5日，张作霖逃往滦州，张锡元旅则一直追到廊坊，没有遇到什么抵抗就径入天津。接着，张锡元部一鼓作气抵达奉军总司令部军粮城，正遇东路溃退下来的奉军张九卿旅和李桂柱旅，两个整编旅一枪未放就被缴械投降了。奉系西路军总司令张景惠则留京待罪，致电曹锟谢罪，并希望直军适可而止，“勿为己甚”。
直奉战事接近尾声，徐世昌遂下达命令，“奉军即日撤出关外，直军退回原防，均听候中央命令解决”，饶是如此，他必须得给战胜者曹锟、吴佩孚一个交代。于是，徐世昌遂指责叶恭绰、梁士诒、张弧是战争祸首，并下令予以通缉。时任内阁总理的周自齐是在4月间上任的，他与梁士诒有数十年的交情，早在通缉令正式发布之前，周自齐就已经电话通知梁士诒，并且解释他是不得不签署这道命令。7日，得到消息的梁士诒、叶恭绰、刘展超、郑文轩、王季子、黄质中、李达牧等离开天津赴日本，在长崎落脚。
而奉军方面，李景林战败后率残部放弃杨柳青，借助铁路撤退，张作相也带着溃不成军的部队向关外撤退，最倒霉的是郭松龄。郭松龄率领的部队因为作战得力，已经攻入直军腹地，但随着其他战线上的奉军接连战败，郭松龄部随时都可能被直军切断后路。
郭松龄撤退的先头部队抵达马头镇，准备渡过永定河，哪知道刚刚渡过一半时，直军王怀庆率部追至。但郭松龄镇定沉着，一面迎敌一面抢渡，用了一夜时间脱离险境。
第一次直奉战争让很多之前自视甚高的奉系将领栽了跟头，但也有不少人借此机会崭露头角，这其中首推名列奉系“五虎将”之一的郭松龄。就奉军的将领而言，虽然前有张作霖的几位结义兄弟，后有所谓的“五虎将”，但是真正能打仗、会打仗、擅打仗的只有人称“郭鬼子”的郭松龄。郭松龄所率领的暂编第三混成旅是张作霖亲自培养起来的队伍，所以才会交给自己的儿子张学良。这支部队没有受到重创，这为张作霖能够迅速东山再起保存了一份有生力量。
张作霖退回关外，吴佩孚并不想就此放过他，一边调兵遣将准备出兵关外追击奉军，一边要挟北京政府严惩张作霖。10日，万般无奈的徐世昌不得不撤销张作霖东三省巡阅使职务，并免去张作霖本兼各职，翌日又撤去其蒙疆经略使之职，从而剥夺了张作霖的军政大权。根据直系的意见，徐世昌任命黑龙江督军吴俊升为奉天督军，冯德麟为黑龙江督军，袁金铠为奉天省省长，史纪常为黑龙江省省长，以离间奉系。
徐世昌的任命传到奉天，黑龙江督军吴俊升的小河沿公馆立时成为东三省的政治中心，“小河沿之吴公馆中，吴督幕僚，食指频动，人思一脔，几乎弹冠相庆矣”。在吴俊升的幕僚中，最积极的当数参谋长应善一。应善一觉得如果吴俊升能够坐到节制东三省的地位，那他必然也会跟着水涨船高，所以便暗中与北京政府取得联络，并密电曹锟、吴佩孚，以联手对付张作霖。吴俊升在得到徐世昌的任命后，便准备复电“俊升材具粗劣，一向追随雨帅，黑疆之寄，已感陨越是惧，况其他乎”，应善一却擅自在后面加了一句“惟政府之命是从”。
看到刊登在《盛京时报》上的电报之后，吴俊升非常生气，便要找应善一来算账。哪知道应善一刚刚从吴公馆南面右侧甘露门出来，忽然被人当面打了三枪，当场死亡，行刺的是跟随张作霖多年的奉天督军署副官高金山。应善一一死，奉天城内谣言四起，吴俊升决定只身前往山海关面谒张作霖澄清误会，临行前委托奉天省省长王永江负责奉天的秩序。吴俊升并没有带卫队，只是带着一名副处长陈振之以及两名卫士，乘专车西下。
张作霖此时正在山海关收整残军，吴俊升轻装简从，见到张作霖以后“趋入谒”，终于与张作霖尽释前嫌。1922年5月15日，得到北京政府任命的冯德麟、袁金铠、史纪常等人亦发出通电，向张作霖表明心迹，“北庭乱命，免去张巡阅使本兼各职，并调任德麟等署理督军等语……德麟等对此乱命，拒不承认，合电奉闻”。眼见离间策略不能成功，吴佩孚便催促直军进攻山海关，准备以武力完全击溃奉军。
此时的形势对奉军极端不利，直军那边士气正盛，准备一鼓作气打到关外去，而奉军这边则遭遇新败，短时间内还无法恢复元气。张作霖于是将率部黯然撤退的郭松龄扶为总指挥，除了郭氏自率的暂编第八混成旅，又将张学良的暂编第三混成旅、蔡平本的暂编第四混成旅也交给郭氏指挥。郭松龄遂率领奉军与追击而至的直军彭寿莘部展开激战，最终郭松龄取得了胜利，破灭了吴佩孚突破山海关、进军关东的计划。
郭松龄生于盛京东郊渔樵寨村（即今辽宁省沈阳市东陵区深井子镇赵家铺村），字茂宸，祖籍山西汾阳，是唐朝名将郭子仪的后裔。郭松龄的父亲郭复兴是私塾先生，后到奉天工作，郭松龄也得以进入省城东南常王寨董汉儒先生的书院学习，后又就读于赵尔巽设立的奉天陆军速成学堂，1906年进入永平府北洋陆军第二镇随营学堂。1907年，郭松龄充任盛京将军衙门卫队哨长，深得陆军统领朱庆澜赏识。1909年，朱庆澜移驻四川，郭松龄随朱氏入川，后经方声涛、叶荃的介绍加入同盟会。辛亥革命后川军将领驱逐朱庆澜，郭松龄遂回到奉天，在与张榕筹划起义时险些被杀，幸得妻子韩淑秀相救。
在民国建立之后，郭松龄考入北京将校研究所，后考入北京陆军大学，毕业后任北京讲武堂教官。1917年，郭松龄到广东投入孙中山的护军政府，先后出任粤赣湘边防督办参谋、广东省警卫军营长、韶关讲武堂教官。护法运动失败之后，郭松龄再次回到奉天，任东三省陆军讲武堂战术教官。张学良在讲武堂学习期间，与郭松龄结识，对郭松龄非常钦佩，遂推荐给张作霖出任参谋长兼第二团团长。1921年，张作霖又委任郭松龄为暂编第八旅旅长，与张学良的暂编第三旅组成司令部。
在郭松龄率部击败直军之后，26日，黑龙江绥芬河山林游击队司令卢永贵忽然宣布独立，并请出高士傧出任东三省讨逆军总司令。后方突然起火，但张作霖的主力此时都在山海关与直军对峙，他只好派张宗昌北上迎击叛军。张作霖委派张宗昌出马，本来是有些冒险的，哪知道张宗昌竟然轻松击溃了卢永贵和高士傧，并将二人就地正法，很快解决了奉军后方的麻烦，亦凭此成为张作霖的心腹爱将之一。
张作霖便派张学良出面与直军议和。张学良找到在奉天基督教青年会的美国朋友帮忙，美国牧师普赖德和杨古遂请英美驻奉天领事出面，与直军斡旋停战议和的事宜。岂知英美两国领事以不干涉中国内战为由拒绝，赖德和杨古只好以私人身份到山海关前线与彭寿莘斡旋。6月16日，张学良在杨古牧师和开滦矿务局英籍局长陪同下，会见直军代表王承斌，决定停战。17日，奉军代表张学良、孙烈臣和直军将领王承斌、彭寿莘在英舰上签订和约，并相约开始撤兵。
虽然战败，但是张作霖的主力部队都在，并没有伤及他的根本。所以早在北京政府宣布罢免张作霖的各项职务之后，张作霖就在滦州宣布独立，东三省自治，并改称奉军总司令，发表宣言“所有北京订立关于东三省、蒙古、热河、察哈尔之条约，未得本总司令允许者，概不承认”，口气依然强硬。随后，张作霖、孙烈臣、吴俊升即联名通电，“东三省和西南及长江同志各省一致行动，拥护法律，扶植自治，促进统一”。1922年6月上旬，张作霖出任东三省保安总司令，孙烈臣、吴俊升出任副总司令，正式宣布东三省“联省自治”。
张作霖想要“整军经武”，就不单单是要在练兵和军纪上下功夫，要治军治政就必须得找到合适的人选，所以他就再次请杨宇霆出山。杨宇霆是在皖奉直合作时被解职的。为了援湘，张作霖派了奉军入关，以徐树铮为副司令，并代行总司令职权，哪知道徐树铮竟然拉拢奉军参谋长杨宇霆，在洛阳、信阳等地秘密组建了四个旅的武装。张作霖闻讯以后非常生气，遂罢免了杨宇霆，卸任后的杨宇霆就在北京安定门外的净土寺胡同赋闲，生活则靠奉军将领李景林接济。
张作霖将名震东北的“小诸葛”又请回了奉天，于7月16日正式成立东三省保安司令部，以杨宇霆出任总参议，并成立秘书、副官、军务、军需、军医、军法稽查等处。为了时时提醒自己，张作霖请书法家在他纸扇上书写下“勿忘吴耻”四字。同时，张作霖设立了最高的整军经武领导机构，名为东三省陆军管理处，以孙烈臣为统监，以张作相、姜登选为副监，张学良为参谋长，下设军学处和工务处，分别以陈瑛和张宣出任处长。
在这个东三省陆军管理处中，张作相、姜登选分别为旧派和新派的主要成员，借此节制两派将领。饶是如此，旧派在奉军中的地位此时已经逐渐没落，很多旧派将领都被免去职务，而由东三省政府委任虚职，等于是养了起来。张学良是新派的首脑，以他出任参谋长，即是开始大力扶持新派人物的一个标志。此时以“奉系五虎将”郭松龄、姜登选、张宗昌、韩麟春和李景林为首的新奉军逐渐成形，在“五虎将”中，为官清廉、军纪严明而又平易近人的姜登选最具威信。
姜登选字超六，是直隶南宫县陈村人，清末被清政府派往日本学习军事，毕业于振武士官学校，因为受到黄兴、宋教仁的影响，于1904年加入“同志会”，又于1905年加入同盟会。归国以后，姜登选历任四川军政府参谋总长、黑龙江护军使参谋长。在奉系的“五虎将”中，姜登选是个颇具江湖侠客气魄的人物，他豪爽轻财，并且能与士卒同甘共苦，在东三省有着很大的影响力。
大力提拔新派将领之后，张作霖亦开始对旧派将领进行整顿。在第一次直奉战争中贻误战机并烧杀抢掠的部队将领，如暂编第六混成旅旅长鲍德山、第二十七师第一○六团团长阎玉成、暂编第十混成旅第一团团长许益三均被枪决。对能力不足、犯有小过的将领则予以撤职或是贬职，汲金纯、郑殿升、牛永福、张九卿、李庆禄等将领均予以处分，共计有一个师长、十三个旅长和三个团长，其中绝大部分都是追随张作霖多年的旧派奉军将领。但也有一些被贬职的将领，因为随后表现出色而再度得到任用，比如李桂林、李明九、巴音额等，原炮兵独立团团长吉兴更是升到旅长。
第一次直奉战争前，张作霖为了扩张势力盲目扩编军队，结果导致部队良莠不齐。在退回关外之后，张作霖遂开始大量裁兵，将老、弱、病、残、劣的士兵给资遣返，立下战功的老弱士兵则改充辎重兵或是后勤兵。在战后，东三省的奉军共裁兵6.9万人，虽然数量锐减，但战斗力却得到了提升。另外，张作霖大量吸纳新式军事人才，对日本陆军士官学校、北洋武备学堂、保定军官学校、北京陆军大学以及各地军官学校的毕业生都极力吸收。
并废除了之前的推荐制来提拔军官，而采取考试的方法。同时改建早先由赵尔巽创立的东北讲武堂，礼聘有经验的高级将领前来担任教习，而所有未接受过正规军事化教育的奉军官兵，则必须到讲武堂学习，自1931年到九一八事变，讲武堂共举行了11期，毕业的学生总计有8900余名。整编后的奉军统称东三省陆军，下辖三个师、二十七个混成旅和五个骑兵旅，共计17万人，军容风纪和作战能力都焕然一新。