在驱逐了段芝贵之后，奉天其实就形成了两大势力：张作霖和冯德麟。但是相比之下，张作霖的声势更盛，这自然招致冯德麟的不满。前文已经讲过，当初张作霖在赵家庙被金寿山偷袭得手，带着老婆孩子和残兵败将要去投奔的，便是冯德麟。只是后来到了八角台遇到张紫云和张景惠，张作霖得到东山再起的机会，此后风云际会，加上张作霖本人善于把握时机，逐渐成为奉天的头号实力派，超越了冯德麟。但冯德麟毕竟也曾是叱咤一方的枭雄，又比张作霖年长几岁，被张作霖踩到身上毕竟不是长久之计，于是，二人的决裂成为必然。
段芝贵被驱逐之后，奉天将军的位子就空了下来，袁世凯知道，此时张作霖在奉天的权势已经没有人能够动摇，再派其他外省大员到奉天去，怕只会遇到和段芝贵一样的情形。此时奉天保安会参议总长袁金铠等人则草拟《奉天保安会章程》，并教唆省议会的正副议长等人倡导成立自治期成会，四处宣扬“奉人治奉”，公然反对中央再派外省人来督理奉天。袁世凯在当权之初，便将各地的督军互调，以防止督军拥兵自重，不受中央节制。但这个方法最后促成了两种情况：一种是部分督军结成一伙，形成了皖系和直系；再一种就是地方的下级军官掌握实权，北洋嫡系的军阀反而没有了立身之地。
没有办法的袁世凯只好选择奉天地方上的实力派出来掌权，当时在奉天的实力派，首推张作霖和冯德麟。奉天将军便要在这两个人之间选出，袁世凯专就此事征求了段芝贵的意见。段芝贵离开奉天的时候，冯德麟唱的是白脸，张作霖唱的是红脸，段芝贵自然不知道冯、张之间的交易，对冯德麟深恶痛绝，却对护送他安然离开奉天的张作霖颇有好感，因此一力保举张作霖。张作霖虽然之前曾忤逆袁世凯的意思，公然拒绝南下作战，但张作霖此时已经成为奉天的头一号人物，而且袁世凯对冯德麟又不熟悉，只好将奉天的权限交予张作霖。1916年4月2日，袁世凯委任张作霖为奉天盛武将军，兼奉天巡按使，督理奉天的军政事务，而任命冯德麟为奉天军务帮办。
谁也不承想到，一纸任命书下来，冯德麟和张作霖的关系却僵了。在驱逐段芝贵这件事上，冯德麟与张作霖同心协力，纵然不至于高张作霖一头，也不至于矮人一头。以二人在奉天的权位而言，也应该是军政分开，五分高低，但如今张作霖军政大权一手抓，冯德麟“职居张氏之下”，让本来就脾气火爆的他无法容忍。所以张作霖就职奉天将军的时候，冯德麟并没有去道贺，并且拒绝接受军务帮办的任命。
其实张作霖在奉天的势力，早已经超过冯德麟，但张作霖能够取得奉天大权，全有赖于几位结义兄弟，再者他也不欲就这样毁掉和冯德麟的盟友关系。于是，张作霖请出大哥马龙潭和二哥吴俊升，请他们前去找冯德麟疏通，劝冯德麟勉就帮办之职。冯德麟知道马龙潭和吴俊升是为张作霖来当说客，所以干脆将二人挡在了府外。张作霖只好亲自登门去见冯德麟，冯德麟遂提出要和张作霖“地丑德齐”，即要求另设军务帮办公署，其组织和军务督办公署一样，设参谋长及四课，编制和经费也要相同。
编制好说，经费却是需要上面批准才行的，张作霖于是向中央请示。袁世凯答复张作霖说，“成立帮办公署于体制不合，未便照准，但军务帮办办公费准月支15万元”。这个条件虽然足够优厚，但是和冯德麟的预想差得很远，冯德麟随即致电袁世凯请求辞职，并且不等到袁世凯答复就率部撤防广宁。袁世凯虽然喜见奉天内张作霖和冯德麟互相牵制，不愿看到张作霖一家独大，但是也不愿意奉天再闹出纠纷，于是又去请张锡銮出面调停。张锡銮自离开奉天，就不愿再回到那是非之地，亦知道冯德麟和张作霖早不把他放在眼里，于是拒绝了袁世凯。
一筹莫展的张作霖只好又请出第二十五旅旅长老六孙烈臣，带着礼品和30万元现款到广宁去犒军，恭敬地劝冯德麟回到奉天。1916年5月20日，冯德麟率领马、步、炮共五个营声势浩荡地开进奉天，然后在第二十八师驻省办事处休息。张作霖获悉冯德麟到了之后，随即亲自到冯德麟的办事处拜访，并且极力讨好冯德麟，但是冯德麟态度傲慢，待张作霖回将军府后也不回访。当晚，张作霖在将军府摆宴为冯德麟接风，但冯德麟拒不赴宴，张作霖只好将酒席抬到冯德麟的住处，并召来歌伎侍酒。而冯德麟端坐于席首，始终面无表情地动也不动，搞得张作霖尴尬不已。
翌日，冯德麟即致电中央，表示第二十八师需要扩编，请准予招募七个营的官兵，并且指定广宁为军务帮办公署的所在地，公署开办经费和增兵所需粮饷，均请大总统传令奉天将军如数照拨。在电报发出之后，冯德麟又下令给奉天财政厅，要求拨款50万元为编练飞行队（即空军）的经费。在这些事情办妥之后，冯德麟就率部回到广宁，名义上是“视察防务”，这一去却没有回来。
冯德麟离开以后，张作霖仍然极尽所能地讨好冯氏。首先雇用了大批工匠，将设在奉天城内的第二十八师驻省办公处修葺一新，尤其是冯德麟的办公室，修得和张作霖的办公室一模一样。然后，张作霖还派出自己的参谋长杨宇霆到广宁拜访冯德麟，再三恭迎他到奉天城来就职办公。杨宇霆此时已经逐渐成为张作霖身边的红人，张作霖派杨宇霆这个心腹去请冯德麟，乃是意图向冯德麟表现出自己的最大诚意。
杨宇霆原名玉亭，字凌阁，又作邻葛，原籍法库县宋道口镇代岭村。杨宇霆的祖父杨正荣在清同治年间居家逃荒到关外，在辽宁省法库县蛇山沟村落户。杨宇霆的父亲叫杨永昌，母亲张氏，以开大车店为生。其父靠混迹江湖起家，所以反对杨宇霆上学，后经人劝说才勉强同意。杨宇霆自幼聪颖，曾就读于铁岭县秀才张某处，清末考中秀才。
科举制度废除以后，由堂兄资助到日本士官学校留学，其间常和于珍、邢士廉等人讨论国事，与孙中山、蒋中正、傅作义时有书信往来。回国后即步入军界，自排长、连长晋升为军械厂厂长，以治军严谨、军纪严明著称，颇得张作霖赏识，遂调任为第二十七师参谋长，在东北时人称“小诸葛”。
在杨宇霆的游说之下，冯德麟又于1916年6月6日再次率领大队人马回到奉天城，并且向张作霖提出了三个条件：一、要求帮办的权限必须和奉天将军完全一样。二、奉天的用人行政权限二人必须互相咨询。三、财政厅拨20万元为第二十八师添购飞机。其实在张作霖看来，他与冯德麟若共处，便是军政大权二人共享，但冯德麟的三个条件，俨然是将奉天的军政大权揽去，只给张作霖一个空头的将军。
张作霖便希望冯德麟能够略有让步，冯德麟决意不肯，张作霖只好再次去拜访冯德麟，结果被冯德麟挡在门外。气得张作霖致电北京政府请求辞职，并请袁世凯派张锡銮来维持奉天的秩序。但此时袁世凯性命垂危，北京城里一片混乱，袁氏阵营的袁克定和北洋系的段祺瑞正为总统的后继人选明争暗斗，谁还顾得上奉天的事情？张作霖的一封电报打过去，根本没有等来任何音讯。
北京城无暇顾及奉天的事情，冯德麟便向张作霖发出了最后通牒。张作霖只好再次请出二哥吴俊升，请他出面劝说冯德麟。吴俊升是洮辽镇守使，实力仅次于张作霖和冯德麟，张作霖请出吴俊升，一是因为他在结义兄弟中位分高，再一个便是吴氏同为东北的实力派，由他出面，冯德麟总应该有所忌惮。当时奉天的四大派，仍然以张作霖和冯德麟为首，马龙潭与吴俊升次之，但马龙潭是个不愿开罪左右的人，吴俊升与张作霖站在一起，张作霖在军事上的优势就更为明显。
吴俊升见到冯德麟，也是满脸赔笑，向冯德麟说了很多好话，赔了很多不是。冯德麟虽然满腔怒火，但是看到吴俊升为张作霖来说情，总不能不给面子，只好提出了最后三个最低条件：一、用人行政需征求同意。二、奉天的军政费用，不能超出预算，万不得已的时候需要协同办理。三、张作霖亲率第二十七师全体营长以上的军官齐赴第二十八师办公处来道歉。冯德麟的三个条件，就是将添购飞机一项抹去了，张作霖获悉之后，便亲自率领高级军官到办事处向冯德麟道歉，答应了全部条件。冯德麟此时也笑脸相迎，还邀请来大哥马龙潭和二哥吴俊升打了几圈麻将，看起来双方似乎已经重归于好。
此事过后，冯德麟自以为在气势上压过了张作霖一头，却是一步一步将自己置于被动。张作霖本无意与冯德麟闹翻，所以一而再、再而三地忍让，但冯德麟这么一来，逼得张作霖已经忍无可忍，同时还得罪了第二十七师的上上下下。更糟糕的是，没有过几天，上海的报纸就把张作霖向冯德麟道歉的这件事全部登载出来，气得张作霖好几天没有出门，并且下令捉拿相关人员并且开始检查邮电。
张作霖再三低声下气地请求和冯德麟合作，本以为一切已经恢复如初，但冯德麟却只是表面上和张作霖达成了和解。没有多久，冯德麟就将他的防区里张作霖委派的各县警察局长都拘禁起来，对他们严刑逼供，要他们交代出如何贿赂张作霖才得到了职位，并且扬言要和张作霖算账。然后，冯德麟发出通电，率领第二十八师全体将士辞职，“张督为人极英明，能实心整顿军事。麟所部将士均属下乘，宜即退避贤路”。到这个时候，张作霖也不得不和冯德麟撕破脸。
民初时候有个不成文的习惯，只要是武人通电提出辞职，一般都是以退为进，明着看是辞职，实则是逼宫。但此时的张作霖，真的是对自己的这位三哥忍到了头，也不再低三下四地派人去劝，而是亲自登门去质问冯德麟真正的意图。冯德麟也开门见山，直言自己是要兼任省长，张作霖没有心思再和冯德麟明争暗斗了，干脆和冯德麟摊牌，坚决地拒绝了冯德麟，然后转身就离开了第二十八师办公处。
张作霖与冯德麟公然翻脸，局势瞬时急转直下，坊间迅速开始传言，说张作霖可能和冯德麟兵戎相见。奉天公法团急忙在双方之间奔走，呼吁双方以大局为重，万勿诉诸武力。对于公法团的建议，张作霖率先表态不会走向极端。但此时的奉天城内形势空前严峻，几乎到了“刁斗森严，夜无行人”的地步，张作霖虽然表态，但第二十七师的将领却已经在大肆叫嚣开战，他们都曾在冯德麟那里受辱，岂肯善罢甘休？
时间到了1917年，段祺瑞组阁后开始掌握民国政权，他看到关外的两只猛虎相持不下，于是电召冯德麟入京面谈，但冯德麟丝毫不予理会。段祺瑞只好请出原奉天最高军政首脑赵尔巽，请他到奉天协调张、冯之争。赵尔巽由天津赶赴北京，随后又转乘火车抵达奉天。赵尔巽抵达奉天之后，张作霖便亲自拜访，赵尔巽于翌日探访冯德麟。因为赵尔巽在东北威望极高，黑龙江督军毕桂芳、吉林督军孟恩远亦派出参谋长到奉天面谒赵尔巽，赵尔巽于是召开会议，但是却没有丝毫效果。3月6日，冯德麟又回到广宁，赵尔巽到奉天的调解最终以失败告终。
就在张作霖与冯德麟剑拔弩张之际，张作霖的部下第五十三旅旅长汤玉麟又和张作霖闹翻了。原来在张作霖主持奉天的军政后，汤玉麟的军队经常和警察产生冲突，事情被张作霖知道，他丝毫不袒护汤玉麟，不但重惩滋事的官兵，还召集汤玉麟等训话，对汤玉麟治军不严大加斥责。张作霖虽然是胡子出身，但却最注重军纪，所以对汤玉麟放纵下属非常不满，而这却给冯德麟制造了机会，他极力从中挑拨，并派第二十八师五十五旅旅长张海鹏潜入第二十七师内部策动哗变。
张海鹏又名仙涛，早年就跟随冯德麟做土匪，被招抚后曾出任巡防队管带，并在奉天讲武堂学习。张海鹏在第二十七师里到处活动，张景惠和张作相有所觉察，张作相遂召集第二十七师部分将领谈话，希望他们以团体为重，而第二十七师的将领也反对倒张。汤玉麟感到陷于孤立，于是带领嫡系的两个连逃往新民村。汤玉麟逃离之后，张作霖曾致信汤氏，这封信虽然是旁人代笔，却是张作霖口述之意，在信中缅怀江湖情义和半生戎马，言辞恳切，真情流露，兹抄录于下：
阁忱仁兄：十七年患难至交，临别竟未一晤，弟心伤矣！我兄之心能毋伤乎？回忆在桑林子时，我兄、辅忱（即张作相）及弟等共廿四人，屡受洪辅臣、徐翰武等大股欺侮。金寿山勾结俄兵，乘夜袭击，我等冒死冲出重围，孙德山背负赵氏出险，投到老达房，家叙五大度优容，推诚相处，稍得喘息。及投诚新民，弟任管带，兄任左哨哨官。我兄生擒杜立三，首建奇功。弟因升前路巡防统领，兄升马二营管带。后开赴洮南，剿办“蒙匪”六十三·牙仟、陶克陶胡等，弟两次被围蒙古包内，兄均冒险冲到，弟感激涕零，兄劝慰说：“不愿同生，但愿同死。”言犹在耳，永矢弗谖。辛亥之秋，奉赵将军电回省，乱迫眉睫，人心慌恐，我兄率部于一夜之间，擒获恒六、张榕等首要，胁从逃散，省垣转危为安。弟因统领中路巡防，旋改编陆军二十七师，弟任师长，兄升五十三旅旅长。及段将军离任，弟承乏督军兼省长。他人见我师团结坚固，前途顺利发展，十数年间，得掌全省军政，因羡生忌，因忌成仇，挑拨离间，多方破坏，事实俱在，不待复案。人生最宝贵者，莫过于生命，昔当患难之时，誓同生死，偶以言语之差，视同陌路。我兄向重义气，今乃不念前情，不思旧雨，决心离去，此弟深为不解，亦最为痛心者。况且父灵浮厝，大事未完，老母在堂，仍待奉养，兄弟妻妾子孙等，食指日繁，开销日增，兄不为自谋，也不为全家老小着想乎？共得之富贵，当共享受，耿耿此心，天日可表。今日不辞而行，挽留无术，何时意转心回，肯来聚首，富贵与共，决不食言，书不尽意，尚希谅察。