当直系为了权力走向分裂的时候，张作霖却在关外卧薪尝胆。或许，如果没有奉系在第一次直奉战争中的失败，张作霖便很难拥有一支打得了硬仗的东北军。第一次直奉战争之后，既是张作霖最丧气的日子，也是张作霖一生中最辉煌的时光。此时的张作霖，内抗来自关内直军的威胁，外拒日本人进占东北的图谋，并且集中精力训练东北军，与直系的日暮西沉不同，奉军正在冉冉升起。等到直奉双方再战山海关，虽然双方的指挥官依然如旧，但对峙的部队却已经完全不同。
在“整军经武”的同时，张作霖还要做好的另一件要紧事，便是继续维持他与孙中山、段祺瑞的反直三角同盟。但孙中山是革命先行者，怎么会和这两个北洋军阀搅在一起呢？据国民党人宁武回忆，孙中山在1920年曾对他说过，“在国际上要联俄，学列宁的革命方法；在国内，五四运动正蓬勃发展，中国新青年起来了。这是中国革命的新血液、新生力量。我们要把握时机，取得政权，擒贼擒王。首先必须打倒北洋直系军阀。因此，我打算即回广东，重组政府，亲率大军北伐。另一方面，我们要分化北方军阀，利用直系与皖系的利害冲突，联络段祺瑞，特别是关外实力派张作霖，三方合作，声讨曹、吴”。
而执行孙中山联合皖奉、讨伐曹吴计划的人就是宁武，因为宁武是东北人，所以孙中山特别委派宁武去做张作霖的工作。而在奉系与孙中山联系的过程中，奉系方面负责联系的人物是姜登选、韩麟春等人，而孙中山方面负责联系的则是汪精卫、宁武，可以说这些人都是双方的巨头，由此可见双方对此次合作非常重视。而此时，孙中山在南方面对陈炯明的进攻，张作霖给予了孙中山足够的支持，后来孙中山在给张作霖的信中说，能够平定陈炯明之乱“皆公之大力所玉成也”。三角同盟得以逐渐加固，张作霖又派其司令部参谋处科长傅兴沛秘密入京。傅兴沛与冯玉祥参谋长刘骥是陆军大学的同学，平素便来往密切，而刘骥则深得冯玉祥信赖。傅兴沛抵京之后，即到刘骥的私邸与其秘密会面，遂通过刘骥接触到冯玉祥。此后，张作霖又指派亲信马炳南与冯玉祥的交际处长张树声频繁往来。冯玉祥与直系巨头吴佩孚素有罅隙，但是让他真正倒向反直同盟的还是孙中山。
早在1920年，冯玉祥当时还驻扎在汉口，孙中山就派出他的秘书徐谦到汉口，并将孙中山的亲笔信交给冯玉祥，希望能够“加强合作，一致从事革命工作”。当三年后反直三角同盟形成以后，孙中山便派人将与张作霖、段祺瑞联手的情况告知冯玉祥，并希望冯玉祥能够早日发动反直的行动。是年年底，冯玉祥听说教友马伯援准备去广东，于是便委托马伯援代表自己向孙中山致意，表示“待时机到来，一定有所举动”。原来冯玉祥早在滦州起义时便与南方的革命党人来往密切，在读过孙中山的《建国大纲》之后，思想更发生了重大变化。
1923年10月10日，曹锟通过贿选当上总统，在这个阶段，孙中山和张作霖往来的信件开始多起来。11月间，孙中山派叶恭绰到张作霖处，对张作霖的资助表达谢意之余，向张作霖通报军情，“……我军为背城之战，幸将士用命，将敌人主力完全击破，广州得转危为安，从此广东内部平定可期，而北伐计划亦可从此施行矣。故特派叶誉虎前来领教一切，并详报各情，到时幸赐接洽为盼”。
到1924年，孙中山已经逐渐做好北伐的准备，而张作霖和皖系的卢永祥也开始对直系咄咄紧逼。9月1日，卢永祥派其子卢小嘉到奉天面谒张作霖，请张作霖接济款械对抗直系，此时，孙中山之子孙科亦北上奉天，于是在奉天召开了“三公子会议”，从而进一步加固了三角同盟。在“三公子会议”举行的时候，直奉双方都已经处于备战状态，而孙科、张学良和卢小嘉的会面，也是民国新派势力之间的一次正面接触，只是与张学良日后的风云际会相比，孙科和卢小嘉就要相形见绌得多。
此时已经到了第二次直奉战争前夕，孙科奉孙中山的命令乘船自上海经大连抵达奉天。孙科后来回忆起这一次与张作霖的会晤，对张作霖的印象颇佳，“张作霖个子不高，人也清秀，毫无绿林出身的样子。他当时每天都派车子来接我去他的办公室，共进早餐。早餐也总是那些小米高粱米等熬成的稀饭，很简单的。吃过以后，他的秘书长就带着一大堆公文进来。他听取秘书长的报告后，也马上用口头指示。秘书则一旁记录。因此，每天一百多宗公文，不到一个钟头都可处理完毕。显然他是一个很聪明的人，在他住所花园里有个拱门，门上刻了‘慎行’两个字”。
以孙科的所见所闻，能够勾勒出一个比较真实的张作霖。张作霖虽然出身绿林，但并不是一个大大咧咧的武夫，他非常自律，而且简朴。这种与众不同的军人形象，无疑让张作霖在孙中山面前取得了很高的形象分。其实民初的军阀魁首，大都很注意维护个人形象，皖系的段祺瑞和直系的吴佩孚都是自律的典范，奉系的张作霖亦是以自律著称，而张学良则注重礼贤下士，对待手下和士兵也非常温和。
就在第二次直奉战争爆发之前，江浙战争率先爆发。虽然皖系方面叫嚣得厉害，但并不是皖系挑起的，而是直系挑起的。江浙战争根本上是为了争夺上海的控制权，上海本来是江苏的地盘，在皖系当权时期被皖系军阀卢永祥所控制。江苏的两任督军冯国璋、李纯都对上海虎视眈眈，继任的江苏督军齐燮元也早已窥伺着上海。上海当时是远东有名的国际大都市，有“十里洋场”之称，皖系失势之后卢永祥拥兵固守，从而陷入直系的包围之中。
上海问题是浙江督军卢永祥和江苏督军齐燮元的心结，1924年闽军将领臧致平和杨化昭率部由江西开抵浙江，遂被卢永祥收编，这件事成为引发江浙战争的导火索。臧致平和杨化昭所部是被直系军阀孙传芳和周荫人自福建赶出来的，卢永祥接纳了这两支部队，并将他们改编为浙江边防军的4个师、1个混成旅。在拥有了这支一万余人的部队之后，卢永祥的实力大为提升，遂引起周边直系军阀诸将的不安，于是，江苏、安徽、江西、福建四个省份联合起来，决定对浙江宣战。
9月3日，江浙战争全面爆发，卢永祥同时向反直三角同盟的另两位盟友孙中山、张作霖发出电报求援。4日，孙中山在大本营召开筹备北伐会议，决定进行北伐。随后将大本营迁至韶关，亲自督令各军分别进入江西、湖南，并任命谭延闿为北伐军总司令，宣布“援浙即以存粤”。同日，张作霖给卢永祥汇去300万元充做军饷，表示一定派兵入关响应，同时又致电曹锟大加斥责，“今年天灾流行，饥民遍野，弟尝进言讨浙之不可，足下亦有力主和平之回答；然墨迹未干，战令已发，同时又进兵奉天，扣留山海关列车，杜绝交通，是果何意者”，随即宣布“谨率三军，扫除民贼，去全国和平之障碍”。
5日，孙中山发表《讨伐曹吴对粤宣言》，下令讨伐曹锟和吴佩孚。7日，张作霖在奉天邀宴各国驻奉天领事，宣布因为直军在山海关增兵进逼，决定挥师入关，请各国领事通知各国侨民尽快离开秦皇岛。同时，张作霖自任总司令，点齐六军：第一军总司令姜登选，副司令韩麟春；第二军总司令李景林，副司令张宗昌；第三军总司令张学良，副司令郭松龄；第四军总司令张作相，副司令丁超；第五军总司令吴俊升，副司令阙朝玺；第六军总司令许兰洲，副司令吴光新。
张作霖将奉军的总司令部设于锦县，除张作相的第四军留为总预备队外：以张学良第三军一师一旅兵力守山海关；第一军兵力两旅驻绥中；第二军兵力一师一旅向朝阳进展；第五、第六两军则利用其骑兵队分攻开鲁、赤峰。其中以朝阳为主攻方向，其余大都采取防守的态势。随后，奉军大部便向山海关和热河方向移动。除了张作霖点齐的部队，当时奉系还有没有调动的第四混成旅以及吉林、黑龙江方面的军队，蒙古族骑兵亦决定为奉军助阵。
另外，虽然经过了数年准备，但张作霖的海军多为江防舰，以及征用商船加设炮位武装起来的，不能出海参加正规的海上作战。海军暂时不能派上大用场，张作霖的空军却已经粗具规模，在张作霖致曹锟的电报上，便有“以飞机候起居”句，就是说我的飞机厉害，你睡觉的时候注意点儿落下来的炸弹。奉军的飞机其实还不能够进行长距离飞行，主要以葫芦岛为基地，向山海关、喜峰口活动，以侦察军情、破坏交通和扰乱军心、民心为主。即便没有给直军带来巨大打击，也已经是中国内战中的首次空中行动。
其实直奉第二次战争并不激烈，只是在山海关方面和冷口、界岭口方面有交火，但是却很热闹。战争一爆发，奉军便采取主动攻势，背后有兵工厂支持，所以奉军打起仗来各种枪弹和炮弹可着劲往直军阵地上扔。直军一开始采取的是攻势，准备和奉系对攻，但打了一气就被奉军猛烈的炮火打退了。吴佩孚派人在后面以枪炮威胁直军士兵不得后退，但奉军火力过猛，直军一退再退，到底不得不选择采取守势。
13日，直奉第二次战争的首战在热河打响，进驻热河方向的是奉军第二军李景林、张宗昌部。李景林和张宗昌这两个人，一个是国技大师，一个是混世魔王，张作霖之所以让他们两个人在一起配合，是因为他们都属于客籍将领。李景林原来隶属于皖系曲同丰部，后来因为和徐树铮不和倒向直系，后进入奉天遂效命于张作霖麾下；张宗昌原本是直系军阀，后来投身皖系，直皖战败后又投身到奉系。
在第二次直奉战争前，奉军中新派军官势头正盛，大大咧咧的张宗昌就显得异常突兀。自成功击溃卢永贵、高士傧以后，张宗昌便稳固了自己在奉系军阀中的地位。当时奉军的排外思想很浓，加上张宗昌又是败军之将，所以他能够重新获得兵权可以说非常困难。但是任谁也不会想到，张宗昌在击溃卢永贵、高士傧以后，又在热河携手李景林连克直军，让张作霖也不得不对这个莽撞的将军侧目。
张宗昌字效坤，山东掖县（今山东省莱州市）人，有诸如“狗肉将军”“混世魔王”“长腿将军”“三不知将军”“五毒大将军”等各种绰号。1899年，张宗昌到东北谋生，其间打过零工也做过长活，还给地主家放过牧，后流落到海参崴。辛亥革命爆发以后，张宗昌率百余人投向山东民军都督胡瑛，随其到上海任光复军骑兵独立团团长，后出任江苏省第三师第三骑兵团团长、第五旅旅长。1913年7月投靠冯国璋，先后出任江苏陆军军官教育团监理、江苏将军公署副官长。张宗昌此后又投靠皖系，任总统府侍从武官长，随张怀芝赴湘作战，结果被打得大败。此后奉命进攻直系军阀陈光远，又被陈光远打得大败，余部也被解散。
在湘鄂失意之后，成了光杆司令的张宗昌孤身西走洛阳，当时吴佩孚广纳门客，张宗昌也是想混口饭吃。哪知道吴佩孚对张宗昌素无好感，听闻张宗昌来访，居然闭门不纳。没有办法，张宗昌只好灰溜溜地跑到关外去见张作霖，张作霖收留了张宗昌，但是只给了他巡阅使署高等顾问的虚职，并没有给张宗昌一兵一卒。就这样，一直到卢永贵和高士傧叛乱，张宗昌才得到再次带兵的机会，但他却凭此再次崛起，成为奉军的急先锋。
彼时奉军第二军的李景林、张宗昌部兵分两路进入热河，遂与直军在热河朝阳寺一带相遇。李景林的部队单兵作战能力出众，素有“疾行军”之称，反应快，行动灵活。而张宗昌的部队是真正的国际纵队，他曾收编了白俄谢米诺夫的残部，这些白俄军队素以作战骁勇出名。于是直军与李景林、张宗昌部甫一接触，即被击溃。奉军长驱直入，在十天内便攻占了朝阳。到1924年9月末，第二军的先头部队已经抵达冷口附近，从而对附近的直军构成了大包围的形势。
在朝阳方面展开激战的同时，山海关方面的战事也逐渐升温，负责把守山海关的是直军将领彭寿莘。彭寿莘和郭松龄是老对手了，当初奉军战败，就是彭寿莘部负责追击，而后来受命迎击彭寿莘的就是奉军郭松龄部。28日夜，直奉两军在山海关展开激战，经过两天的战斗，奉军最终夺取了九门口的东口，占领这个制高点以后，奉军便掌握有利地形，居高临下地与直军周旋。
10月10日，直军总指挥吴佩孚驰往山海关。12日，吴佩孚亲抵前线督战，并调集来大批援军。13日，吴佩孚本想率“楚豫”“永翔”两艘军舰开往葫芦岛，突袭奉军后路，但中途遭到奉军飞机袭击，被迫退回葫芦岛。此时，奉军第一军姜登选部和韩麟春部突入九门口，占领荒山口，吴佩孚只好登陆继续指挥地面部队。郭松龄率部对山海关正面发动猛攻，但遭遇到直军的顽强抵抗，双方一度陷入僵持的局面。
正当战事胶着之际，奉军第一军总司令姜登选和第三军副司令郭松龄却爆发了冲突。郭松龄主张突袭九门口，而姜登选则认为第一军在九门口已经取得战果，不同意将正面部队调移，二人为此争执不下，甚至发生了口角。其实，到这个时候，奉军少壮派军官中已经出现了罅隙。新派逐渐分裂为两系：一面是以杨宇霆为首的士官系，包括姜登选、韩麟春等，大都有留日背景；一面则是以张学良为首的大学系，包括郭松龄、李景林等，大都是在国内的武备学堂就读过。
在与姜登选发生争执之后，郭松龄竟然拂袖而去，率数骑到所部宋九龄处，命令宋九龄部后撤，将阵地交由高维岳旅，然后即向后方扬长而去。第三军总司令张学良闻讯，命令宋九龄部停止撤退，并连忙疾驰追赶郭松龄。在十余里外，张学良终于追上郭松龄，对郭松龄说，“你搞的什么事，我应当打你嘴巴。你若不是我哥哥，一定狠狠打你一顿。”经过张学良的劝说，郭松龄才又回到阵地。好在当时夜色已深，直军并未发觉奉军阵地上的动静，否则第二次直奉战争的结果便可能被改写。