在当上奉天督军以后，张作霖的胃口已经越来越大，单是奉天已经满足不了他的野心。冯德麟与张作霖冲突的时候，张作霖再三忍让，也是希望在扩张势力之前不要失去重要的盟友。冯德麟和张作霖这两个人，一个总是在计策上花心思，一个则着眼于战略；驱逐段芝贵后张作霖得到了权力，而冯德麟只得到了粮饷和一些枪械；奉天内讧中冯德麟让张作霖丢了脸，张作霖却让冯德麟丢了地盘。所以当冯德麟还在为奉天的权力与张作霖睚眦必报的时候，张作霖的视线早已经转向了更广阔的地域。
虽然和冯德麟的对峙让张作霖有点儿苦不堪言，但张作霖并未因此停滞不前，他早就已经开始想着如何将整个东北的统治权握在手里。张作霖率先对准的是黑龙江，时任黑龙江将军的是朱庆澜。朱庆澜字子桥、子樵、紫桥，是浙江省绍兴钱清秦望村人，父亲朱锦堂，早年在山东历城县担任刑名师爷，于朱庆澜6岁时病逝，其母则于八年后病故，朱庆澜17岁时曾做过治理黄河的河工，后跟随亲友投到东三省总督赵尔巽的麾下，历任三营统领，凤凰、安东知县，东三省营务处会办，陆军步队第二标标统，于1907年进入陆军将校研究所，充督练公所参议。
朱庆澜在奉天督练公所做参议的时候，看不起胡子出身的张作霖，平日也不听张作霖的调度指挥，两个人遂结下仇怨。后来朱庆澜自奉天调走，先出任黑龙江督署参谋长，后于1914年改署黑龙江巡阅使并升任黑龙江将军。朱庆澜虽然深得袁世凯的信任，但是要挤走他并非不可能，当初的段芝贵比朱庆澜更得袁世凯信任，还不是被老张连骗带吓唬地赶出奉天，更何况一个区区朱庆澜？但是黑龙江和奉天之间隔着吉林，张作霖不可能假道吉林。
当时驻扎在黑龙江的是陆军第一师，师长是许兰洲。许兰洲字芝田，直隶南宫人，毕业于湖南陆军学堂，是著名的武术大师。袁世凯在小站练兵时，因为许兰洲会武术，曾在袁世凯的卫队中任职，而受到了袁世凯的信任逐渐得到升迁。1908年，许兰洲出任黑龙江巡防营第二路统领。1914年，出任黑龙江暂编第一师师长。许兰洲和朱庆澜的关系，有点儿像张作霖当初和段芝贵的关系，虽然朱庆澜是黑龙江的督军，但手握兵权的实力派却是许兰洲。
许兰洲其实早已经在觊觎黑龙江督军的位子，张作霖获悉之后，便派心腹之人去游说许兰洲，表示只要许兰洲挤走了朱庆澜，便将黑龙江督军之位交给许氏。张作霖虎踞奉天，是东三省实力派中的首要人物，有了张作霖在背后撑腰，许兰洲就开始积极采取措施驱逐朱庆澜。1916年3月17日的晚间，在许兰洲的怂恿下，黑龙江省城齐齐哈尔的少数旗人到处散发传单，通知在齐齐哈尔的旗人到八旗工厂开会，讨论旗人的生计问题。而按照当时的规定，民间若举行集会需要经警察局批准，但此次集会却并没有请示。
在民初，因为清廷刚刚覆灭不久，旗人仍然属于比较敏感的群体。警察看到满地的传单，并不知道将要发生什么事件，于是便请示朱庆澜，将旗人集会的工厂围住，准备了解情况之后再行处理。翌日清晨，看到传单的旗人纷纷赶到工厂门前，发现有警察戒备，便以为警察要干涉开会，随即在部分旗人的挑唆下，跑到许兰洲的师部躲藏了起来。许兰洲正好借故发难，派兵在齐齐哈尔各处戒严，与警察形成对峙的局面。
许兰洲虽然口口声声叫嚣着是出面调停，但却私下鼓动旗人代表联名致电北京政府，大肆攻击朱庆澜等人。加上军队与警察平素就有摩擦，对峙的时候火药味愈来愈浓，整个齐齐哈尔都人心惶惶。北京政府接连收到许兰洲的电报，齐齐哈尔的电报局当时已经被许兰洲所控制，所以朱庆澜一时无法联系到北京政府，他只好派人赶往哈尔滨，在那里发电报到北京，向袁世凯报告许兰洲挑动旗人闹事，袁世凯接到电报以后，立刻致电许兰洲，让他不要乱来，“言称如果朱庆澜发生意外，则以该师长是问”。
虽然许兰洲没有乱来，但军队与警察的对峙却日渐升温，袁世凯也只好将朱庆澜调回京，转而委任其为广东省长，而调毕桂芳为黑龙江将军兼巡阅使，后任黑龙江督军。毕桂芳是同文馆毕业，精通俄语，派毕桂芳到黑龙江去，主要是为了处理和俄国的外交关系。毕桂芳人送绰号“毕不管”，为人有两大特色：一是怕老婆，二是万事不管。但是他虽然对诸事不管不问，官运却出奇的好，竟然就这样做到了黑龙江督军。
毕桂芳的运气确实好，他到了黑龙江以后，确实过了几天舒服日子。许兰洲本意是毕桂芳一到齐齐哈尔，就借助张作霖的势力想办法将之驱逐。但这个时候张作霖正与冯德麟对峙，一时半会儿顾不上黑龙江方面，再一方面又遇上袁世凯去世，北京方面也无暇管黑龙江的事情。许兰洲只好暂时韬光养晦，哪知道袁世凯去世之后就是“府院之争”，许兰洲一时间也顾不上争夺督军之位了。
袁世凯去世以后，段祺瑞就任总理，黎元洪继任总统，从而就政权引发了“府院之争”。在“府院之争”过程中，各地军阀纷纷开始忙着站队，比如张作霖就倒向段祺瑞一方，而冯德麟就倒向黎元洪一方。但黎元洪贵为总统，却没有什么大权，段祺瑞是总理，更是皖系军阀的当家人，皖系的将领个个都是拥兵一方的将领。张作霖站在段祺瑞一边，段氏当然就为张作霖说话，声称要派出援军到奉天来帮助张作霖解决了冯德麟，吓得冯德麟躲在广宁不敢露头。
后来“辫帅”张勋以督军团的盟主自居，在徐州召开会议，冯德麟就派人密会张勋，向其投诚。张作霖知道以后，派副官长赵锡嘏代表他参会，并且致函张勋，表示如果张勋支持冯德麟进攻奉天，他张作霖也不是吃素的，“届时既与彼辈干戈相见，实力一节，敝处可以了之；幸假以声威，遥为作势，自足以寒其胆，而摄其魄，知公当有以许我也”。张勋此时急于利用各省督军的关系稳固自己的地位，自然极力安抚这位奉天的实力派。
当所有军阀都在站队的时候，毕桂芳却依然想如过去一般，不管不问地蒙混过去。于是，段祺瑞因“府院之争”下台后，督军团的各省督军纷纷宣布独立，唯有毕桂芳安然待在齐齐哈尔，像个老佛爷似的既不响应督军团也不支持黎元洪。早已经等不及的许兰洲趁机发难，以武力威胁毕桂芳宣布独立并自动辞职，无兵无卒的毕桂芳这才着了慌，去找老婆大人想办法也无能为力了。毕桂芳急忙去见许兰洲，表示可以让许兰洲出任黑龙江省长，自己只要保留着督军的职位即可。许兰洲便与毕桂芳达成私下协议，以自己出任省长，毕桂芳继续留任督军。哪知道这不过是毕桂芳的缓兵之计，他在和许兰洲达成协议的同时，便密调黑龙江骑兵第四旅旅长英顺、步兵第二旅旅长巴音额率部开赴齐齐哈尔。英顺和巴音额素来拥护毕桂芳，许兰洲早就派人监视，听说二人所部有变动，许兰洲便知道中了计，当即撕毁协议，限毕桂芳24小时内必须辞职离境。
1917年6月13日，毕桂芳召开军事会议，宣布辞去黑龙江省长以及督军职务，并致电北京政府举荐许兰洲，“许帮办精明果敢，洞彻边清，实能宏济时艰，为国柱石”。许兰洲投桃报李，在毕桂芳狼狈离开齐齐哈尔的时候亦发出一封通电，“毕督军虚怀若谷，卸职高蹈，采及轻樗，挽留乏术，辞卸未能，只得暂承其乏”。
哪知道20日，毕桂芳一到英顺的防地呼兰，就以黑龙江督军兼省长的名义发出通电，痛斥许兰洲，直言自己乃是被迫辞职。随后，英顺和巴音额即通电反对许兰洲，并且占领呼兰、海伦一线，与齐齐哈尔的许兰洲部形成对峙。
就在此时，北京城发生了一件惊天动地的事情：张勋率领“辫子军”进入北京，把逊清的皇帝溥仪抬了出来复辟清室。张勋复辟的事情，徐州会议上是得到过督军们的默许，但是真的复辟之后，参与过徐州会议的督军却都默不作声，连张作霖也安静下来。就在这个时候，许兰洲和张作霖的死对头冯德麟却活跃起来，许兰洲通令齐齐哈尔各处要悬挂龙旗，并且致电北京祝贺清帝复辟，而冯德麟则干脆带着人马跑到北京去追随张勋。
20日，冯德麟在30名卫士的护送下抵达北京，随即拜见张勋，并调第二十八师部分官兵进京“赞襄复辟，保卫皇室”。冯德麟进宫面谒宣统皇帝时以三跪九叩的大礼拜见，溥仪赏赐他“穿黄马褂，紫禁城内骑马，御前侍卫大爪头衔”。但没有过多久，段祺瑞在马厂誓师，张勋兵败如山倒，张作霖念及旧情，致电冯德麟，“永居北京故为危险，速从陆路沿长城单骑来归，当于适当地点出迎”。
等事到临头，冯德麟最终不顾张作霖的劝告，而是采纳了部下的劝告，率领卫队换便装乘火车往东行。结果在天津被曹锟部下侦缉队的人发现，冯德麟、张海鹏及下属官兵二百余人均被抓获，于8月14日押抵北京接受审判。15日，大总统冯国璋宣布“冯德麟因叛变共和，罪迹昭彰，剥夺一切官职和勋位，并交付法院依法严惩”。
冯德麟的妻子获悉之后，急忙跑去找张作霖，张作霖念及结拜之情，忙到北京面谒段祺瑞为冯德麟求情，同时动员马龙潭、吴俊升即第二十七师、第二十八师、第二十九师将士联名致电北京为冯德麟求情，又劝说辽西十六县士绅上书，动用各方关系为冯氏疏通。
支持清帝复辟的冯德麟过了好一段日子的囚徒生活，而附庸清室复辟的许兰洲则让英顺、巴音额抓住了把柄，借此发起驱逐许兰洲的运动。而许兰洲也不甘示弱，他发表宣言，说毕桂芳、英顺、巴音额都是复辟派、宗社党分子。而此时的张作霖也换了一副面孔，不仅不再支持许兰洲，而且还要求调许兰洲进京当参军，并且向再度掌权的段祺瑞举荐自己的同乡兼亲家鲍贵卿为黑龙江督军兼省长。
鲍贵卿字廷九、霆九，辽宁海城（一说为大洼县西安乡小洼村）人。幼年家贫，遂投身行伍，深得淮军总兵叶志超器重，先后被送入榆关随营武备学堂、天津武备学堂、开平武备学堂学习，毕业后在新军中任职，随后又调任直隶常备左军后营管带、武卫右翼工程营队官，部队改编后调任北洋陆军第二镇步队第四协统领，与段祺瑞颇有往来。民国成立后任直隶第二师第四旅旅长，1913年任安徽芜湖大通司令官，后任鞠湖镇守使兼第三混成旅旅长，1915年因为遭到安徽督军倪嗣冲的嫉妒，被解除兵权，遂出任北京路军讲武堂堂长。
张作霖之所以举荐鲍贵卿，自然是有理由的，除了同乡之谊，鲍贵卿的次子鲍豫才娶的正是张作霖的长女张首芳。而当初敦请清廷变更国体和逼迫清帝退位的时候，鲍贵卿亦联合段祺瑞一起发出通电，张作霖毕竟只能算是北洋支系，由北洋嫡系出身的鲍贵卿督军东北，自己多少也能够沾一沾光。可这样一来，许兰洲的位子就显得十分尴尬了，他只好灰溜溜地离开了齐齐哈尔。
1917年10月15日，经过多方疏通，段祺瑞终于改判冯德麟为“参加复辟证据不足，因吸鸦片罪罚八百元”。获释之后，冯德麟先是被任命为段祺瑞的高级顾问，后来则回到奉天，负责为清室看护在关外的东陵、北陵和永陵。回到奉天时，张作霖亲自迎接冯德麟，结义兄弟聚集一堂，但此时的张作霖意气风发，统辖着奉天、黑龙江，虎视吉林，而冯德麟则是孤家寡人。张作霖对失势后的冯德麟不计前嫌，给予了很多照顾，冯德麟的长子冯庸后来成为东北军空军的少将参谋长。
冯德麟失势、鲍贵卿督军黑龙江，张作霖自然就将目光对准吉林，时任吉林督军的是天津人孟恩远。孟恩远字曙村，又作树村、树春，是天津市南郊区（今津南区）西泥沽村人，早年穷苦潦倒，靠贩卖鱼虾为生，后在小站练兵时入伍，在马厂编练过定武军。孟恩远的发迹非常有趣，据说当年慈禧检阅新军的时候，无意间掉落了凤簪。孟恩远见状，将凤簪拾起双手捧簪跪在慈禧脚下，禀道“凤簪落地，重返佛山”，这句马屁话拍得又稳又准，慈禧听过以后非常高兴，遂对袁世凯说孟恩远“可以做点儿大事”，孟恩远就此官运亨通。
孟恩远先是被袁世凯提拔为标统，不久又提为河南省南阳镇总兵、镇安左将军，随即进入吉林督理军务。段祺瑞上台之后，又任命为将军府将军、将军府惠威上将军，也被人私下称为“拾簪将军”。
段祺瑞与黎元洪爆发“府院之争”，各省督军为了响应段祺瑞到北京闹事的时候，孟恩远因为年龄最长被推为领衔人之一，督军们皆称呼其“孟大哥”。孟恩远督军吉林之后，先后拥有了如今汉治区（今属内蒙古）境内的孟酄、大辛、福田三个村即清河农场的大片土地，还在天津经营面粉、棉纱等工商企业，可以说是天津东南有钱有势的头一家。
和原来的黑龙江督军毕桂芳很像，靠拾凤簪起家的孟恩远也是个对军政事务很少过问的军阀。孟恩远将内事都交给了女婿陆承武，陆承武是陆建章的儿子，陆建章在袁世凯执政时便颇得重用，又是北洋元勋，旁人自然不敢过问什么，孟恩远实则是利用陆建章的威信对内节制各方官吏。外事则悉数交付给外甥高士傧，高士傧毕业于北洋陆军速成学堂及陆军预备大学，正当少壮，颇想在吉林做出些大事。
话是这么说，陆承武和高士傧的确都有着满腔的抱负，但抱负和能力是两回事。张作霖此时已经是关外的第一实力派，根本没有把孟恩远身边的这一对“哼哈二将”放在眼里，因为在复辟期间孟恩远曾接受吉林巡抚的职位，张作霖就借故检举孟恩远，并致电北京政府要求将孟恩远调离吉林。段祺瑞则有意将皖系势力渗入东三省，于是准备调任孟恩远为诚威将军，而将皖系将领、察哈尔都统田中玉调任吉林督军，以另一名皖系将领张敬尧继任为察哈尔都统。