要想真正完成蜕变，去掉自己身上的草莽气，张作霖知道仅靠剿除几个土匪是不够的，他需要尽快找到自己的靠山。这个时候，赵尔巽、沈金鉴、曾韫都已经不能满足张作霖的胃口了，他这一次盯上的是徐世昌和他背后的北洋军阀，有了北洋军阀的支持，他才能够在东北发展壮大。但是张作霖没有进过北洋军校，也没有参与过小站练兵，以土匪的身份想要跻身北洋系之列，其难度可想而知。但世间的事情往往就是如此，成功往往需要一点儿运气，于是，轰轰烈烈的革命浪潮给了张作霖一次再合适不过的契机。
在接连剿灭了东北地区的几股巨匪之后，徐世昌就着手对付在蒙古及东北边界上出没的一些地方武装，这些地方武装则多是由蒙古族人组成。说起蒙古族人的地方武装，就不能不提到旗地。旗地，顾名思义，就是清廷及蒙古贵族的庄田以及骑兵所拥有的土地。在入关建国之后，清廷统治者就将明朝旧有的官田和民田，通过圈地强占的手法拨归皇室，然后再赐给有功勋的贵族或是旗人。拨归皇室内务府的土地被称为皇室庄田，被赐予亲王、郡王等宗亲的土地叫宗亲庄田，而赐给满蒙及汉军八旗子弟的土地则称为八旗官兵旗地。
在清军入关之前，清廷的统治者将其所占领的东北大片土地赐予满洲将士和民众，每丁给地6垧（1垧即15亩），被称为盛京旗地。在入关之后，清廷统治者又在直隶省进行了三次大规模的圈占土地，占有民田1666万余亩，设为京畿旗地。随着清廷不断开疆扩土，在各地驻防的八旗兵也纷纷圈占土地，设立驻防旗地，但其规模无法与盛京旗地、京畿旗地相比。更为重要的是，这些旗地往往都掌握在八旗官员手中，一般的兵丁只能领到很小的一部分。
在清朝初年，领种旗地的人需要服兵役，但是可以优免赋税，但规定旗地不得买卖，买卖者则要受到法律的惩罚。但是到清乾隆帝统治后期，随着吏治败坏，旗人之间的贫富分化加剧，清政府虽一再下令禁止土地交易，并动用国库银两赎回被典卖的旗地，很多旗人还是不得不靠典卖土地度日，最终只好承认旗地买卖合法化。到清朝末年，很多旗地都已经转化为民田，而内蒙古地区的封建统治者则和其他王公贵族一样，与汉族的地主、军阀勾结，大量买卖旗地，并招进大量费用低廉的垦荒移民，使得当地的蒙古族牧民无法生活。
在这种情况下，很多蒙古族牧民不得不选择揭竿而起，用骏马和枪械来争夺在草原上继续生活的权利。当时蒙古族的地方武装，经常出没于辽宁西北部的通辽、洮南一带，尤其是洮南一带，尽是广袤的草原，便于骑兵来往穿行实施突击。蒙古族武装熟悉地形，加上他们精于骑射，在草原上神出鬼没，往往都采用突袭的方式，进攻之后即快速撤退，所以很难进行追剿。当时活跃在洮南一带的蒙古族武装包括白音大赉、牙仟、陶克陶胡等，清廷认为他们“扰害边疆，至数年之久，此剿彼窜，滋蔓难除，国家视为巨寇”。
清廷的部队战斗力此时已经相当孱弱，对付不了外国人的坚船巨炮，也应付不来地方武装的轻骑滋扰，徐世昌于是又找来张作霖，命他率部“剿匪”。但蒙古族人并不像汉人土匪那么好对付，骑兵对抗，张作霖的部队虽然占据人数上的优势，但是在作战上仍然完全处于劣势，开始的几次交手，蒙古族骑兵以一当十，张作霖则是接连被挫败。强攻没有成效，张作霖就派人打入蒙古族武装内部，从而取得了大量情报，得以掌握蒙古族武装的一些规律，逐渐扭转了劣势。
张作霖接连击败了几股小规模的蒙古族武装，但对付大股的武装时依然显现出兵力不足的问题，于是徐世昌又允许张作霖扩编以增强实力，并且将原本驻扎在洮南的孙烈臣部划归张作霖指挥。张作霖遂将自己的五个营扩大为七个营，加上孙烈臣部，其人马已经增加到3500人。孙烈臣原名叫孙九功，字占鳌，后来改字赞尧，1872年6月生于辽宁黑山芳山镇老河深屯的染匠世家，其父在孙烈臣5岁时去世，孙烈臣幼年时进入私塾读书，父亲去世后因家境贫寒辍学，此后打过短工、贩过马、当过护院的炮手。1900年，沙俄强占辽宁，盛京将军增祺出逃时得到孙烈臣的保护，遂在督军堂出任戈什哈（即督军的侍从武弁），不久又命令他招募兵马，担任中营帮带（相当于副营长的职务），后跟随朱庆澜驻防洮南，在转投张作霖麾下后，出任奉天巡防前路马四营管带。
孙烈臣被划归到张作霖的麾下，让张作霖有了一位最值得信赖的将领，在以后的岁月里，孙烈臣将像他的名字一样，不断在紧要关头出现在张作霖的身边，多少次力挽狂澜，多少次雪中送炭，可以说是奉系中对张氏最忠心的将领之一。在得到孙烈臣这个有力的臂膀之后，张作霖率部先后生擒牙仟，击溃了白音大赉和陶克陶胡，并一直追击到索伦山附近，重挫了蒙古族地方武装的力量。在索伦山，白音大赉和陶克陶胡合兵一处，以索伦山作为基地继续对抗张作霖部，双方一度陷入僵持。
在与白音大赉和陶克陶胡的作战中，张作霖身先士卒，颇受士兵爱戴。同时，张作霖也不忘提携他的徐世昌，除了日常极力讨好徐世昌，与徐世昌见面的时候也执弟子礼。对张作霖来说，除了极力以出色的表现取得徐世昌的信赖外，他更迫切希望能够做到的是尽快傍上北洋系这棵业已枝繁叶茂的大树。不管是北洋系的嫡系还是边缘将领，大都是读过武备学堂或是自新军中磨炼出来的，而张作霖几乎没有什么背景，还有着“胡子”这样并不光彩的经历，想要跻身北洋系何其艰难？
幸运的是，张作霖遇到了徐世昌，有徐世昌的提携，他就得到了混入北洋系的捷径。前文已经讲过，徐世昌虽然手中没有实在的兵权，但在北洋系中却有着举足轻重的地位。作为“北洋三杰”的冯国璋、王士珍和段祺瑞顶多就像是袁世凯的打手，而真正作为袁氏幕中亲信的，首推徐世昌和唐绍仪，其中徐世昌的地位更是远高于唐绍仪和“北洋三杰”，在北洋系中算是“一人之下，万人之上”。张作霖希望傍上北洋系这棵大树，所以对徐世昌俯首帖耳，几乎到了亦步亦趋的情况。随着张作霖不遗余力地为徐世昌剿灭东北祸乱，徐世昌对张作霖的信任也日甚一日，允许张作霖不断扩大自己。
张作霖在索伦山与白音大赉、陶克陶胡对峙日久，徐世昌又调遣奉天巡防营左路统领冯德麟、奉天巡防营右路统领马龙潭和奉天巡防营后路统领吴俊升率部驰援，四路人马合兵一处进攻索伦山，与白音大赉、陶克陶胡的部队展开激战，结果白音大赉受伤被捕，陶克陶胡则战败溃退。张作霖又率部追击陶克陶胡800余里，杀得陶克陶胡丢盔弃甲。同时，徐世昌又与蒙古旗王府“协同堵击”，采取“严禁蒙人通风接济”的策略，逼得陶克陶胡再无立身之地，只好经由外蒙古逃入沙俄境内。战败之后的陶克陶胡身染重病，没有得到东山再起的机会，于1922年4月病逝于库伦（即乌兰巴托），风葬于达兰胡尔岩层之上，终年59岁。
索伦山一战让洮南一带的蒙古族地方武装势力遭到重创，之后再也不敢进入东北三省境内滋扰，而张作霖借此一战名声更盛。1910年10月11日，在班师的路上，张作霖携手在剿灭陶克陶胡之战中共患难的七个将领，于洮南的关帝庙内备妥金兰谱，在关老爷像前举誓“不能同生，但愿同死；相扶相助，携手奋斗”。七个人中，以马龙潭为首，其次是吴俊升，老三是冯德麟，老四是汤玉麟，老五是张景惠，老六是孙烈臣，张作霖排在第七，老幺则是张作相。这次结拜最终促成了奉系军阀早期的基本框架，与张作霖结拜的这几个人最终帮助他雄霸东北。
马龙潭1857年生于直隶庆云县（今属山东省）中马庄，字腾溪，号灵源，其父马奇峰被封为振威将军，其兄马龙文在镇压捻军时战死，同治帝爱新觉罗·载淳特恤荫马家子孙世袭云骑尉。马龙潭少年时“文武通达”，于1877年（清光绪二年）承袭云骑尉一职，在八国联军攻陷北京时，他率部保护奉天皇陵及文物祭器有功，被光绪帝特赐四品花翎，委任为辽阳总巡、通化总巡。
吴俊升生于1863年，原名兆恩，字秀峰，后改字兴权、子琴，绰号“吴大舌头”，原籍山东历城。吴俊升家世代务农，闯关东时到昌图兴隆沟（今辽宁省昌图县老城乡长青村兴隆沟）落户。吴俊升家里共有姐弟妹八人，幼年时因家境贫寒而去放马牧羊，13岁时在四平街庆丰当铺做小伙计，因为经常惹是生非被辞退，后跟随其父贩马。17岁时入辽源捕盗营，做过伙夫、马夫，20岁时被编入骑兵。此后因为作战骁勇得到提升，于1908年官至奉天后路巡防营统领，候补总兵，与张作霖、冯德麟、马龙潭并称为“奉天四大军事巨头”。
关于冯德麟前面已经介绍过，他曾经控制着辽河两岸地区，但后来被俄军逮捕流放库页岛。但是在一次转押途中，冯德麟在俄国轮船上遇到中国司炉刁玉亭，刁玉亭素闻冯氏大名，有意帮助他逃跑，遂将冯德麟暗藏于煤堆之中，冯德麟借轮船靠岸之机逃脱。1903年，冯德麟回到万里壕，准备伺机再起。1904年，日俄战争爆发，冯德麟招募乡勇参加日本人招募的“东亚义勇军”，成为日本的别动队，将队伍发展到数千人，战争结束后日本奖赏他“宝星勋章”，并将他的部队保举给清廷。1906年，冯德麟所部遂被清廷招抚。
1911年是不同寻常的一年，很多人的命运在这一年发生了巨大的转折，对张作霖而言，亦是他一生霸业的真正开端。同年5月，清廷成立皇族内阁，徐世昌被任命为协理大臣，曾出任盛京将军的赵尔巽自四川调回东北，接任东三省总督一职。奉天属于东北，东北照理说是清朝的“龙兴之地”，真正的大后方，但这里的革命力量却异常活跃。奉天的革命党人宁武、商震等早已经在暗地里进行革命活动，北洋第六镇和驻扎在当地的第二十镇和第二混成协的吴禄贞、张绍曾和蓝天蔚也都是同盟会成员，甚至连赵尔巽信赖的总督府军事参赞张榕也是个实打实的革命党。
马龙潭、吴俊升、冯德麟和张作霖他们虽然名为“奉天巡防营”，但其实并不驻扎在奉天城里。辛亥革命前夕，蓝天蔚的第二混成协驻扎在奉天的北大营，是省城的唯一一支驻军，时任新军第二混成协协统的蓝天蔚就和张榕秘密磋商，准备发动起义。10月10日，武昌起义爆发，革命浪潮迅速席卷全国，正在外考察的赵尔巽闻讯急忙赶回奉天，连夜开会商讨对策。蓝天蔚正在和张榕等革命党人密谋起义的消息被一个营长密报给赵尔巽，顿时把赵尔巽吓得魂不附体。
其实说到蓝天蔚等人预谋起义的事情，一直处于半公开的状态，蓝天蔚在新军里公然宣传革命，而且还跑去联络庄河、复州、凤凰城一带的农民武装“联庄会”，甚至还和辽北的绿林头领结拜。早在辛亥革命爆发之前，辽北的绿林首领于春圃、刘单子，辽西的郑梅生、刘景双等就已经和蓝天蔚过从甚密。但凡起义，首要的事情就是保密，起义就是要突然发难，但是让绿林道上的人保密可不容易。几杯酒下肚，拍着桌子就能把起义的事情一五一十说个明白，所以革命党人要起义的事情，早已经人尽皆知。让人怎么也想不明白的是，这场连路边的小孩子都知道的革命运动，直到武昌起义以后也没有发动。这次未竟的起义似乎始终都停留在革命党人的计划里，始终都停留在绿林好汉酒后的铿锵话语里，直到连作为东三省总督的赵尔巽都知道了，它也没有爆发。
虽然蓝天蔚和张榕等人始终没有动手，但赵尔巽听到这个消息以后，还是给吓得异常慌乱，当时就表示要入关，也就是说准备逃命去了。时任奉天谘议局副议长的袁金铠急忙跪在赵尔巽的面前，劝他不要着急逃离，而是先要以大局为重，建议他立刻调巡防营旧军入奉天来护驾。袁金铠的这个主意让赵尔巽茅塞顿开，随即镇定下来，奉天巡防营的将领都是旧式军人，和革命党也没有太多联系，正好可以用他们来镇压革命党人。
这里提到的袁金铠，是奉天地方上的一个士绅，清朝的时候为贡生候补，后来担任过辽阳警务提调、辽阳巡警总局总董，奉天谘议局成立时担任副议长。袁金铠虽然比时任议长的吴景濂低一头，但其实在奉天当地的影响力极大，不仅和官吏之间过从甚密，和吴俊升、张作霖这样的胡子兵头也经常来往。但是，革命党人往往看不起这样的老油条，在和立宪派合谋独立组成新政府的时候，居然没有给袁金铠留一个位置。
像袁金铠和张作霖这样的清末地方豪强，其实原本是没有什么立场的，谁给他们利好，他们就会跟着谁。革命党人不拿袁金铠当回事，袁金铠自然就倾向于保皇派。于是，在赵尔巽惊慌失措之际，袁金铠站了出来，他一边拉住赵尔巽，一边帮助慌乱的赵尔巽出谋划策，稳定时局。而在随后的岁月里，没有立场的张作霖逐渐有了立场，而没有立场的袁金铠始终没有立场，在伪满洲国时期当了汉奸，没有留下太多好名声。
袁金铠和张作霖其实早有来往，但赵尔巽当时首先想到的却是吴俊升。当时吴俊升并不在奉天，而是驻扎在通辽，赵尔巽于是派人到通辽去联系吴俊升。然而，这个重要的消息却被另一个人探听到了，这个人就是张作霖派驻奉天办事处处长的张惠临。张惠临深知事关重大，随即以最快的速度将赵尔巽请吴俊升进奉天的消息密传给张作霖。此时的张作霖还在洮南，洮南位于吉林的西北部，张作霖自然不甘心在这个远离政治中心的地方平淡度日。随着关内形势日益复杂，张作霖早已经秘密叮嘱在奉天讲武堂学习的各营管带张景惠、汤玉麟、张作相等注意奉天内的军政动向，并及时密信报告。张惠临的密信很快就抵达洮南，而赵尔巽还在奉天就此事进行讨论。