在绿林道上，并不是每一股土匪都想着被招安，很多大土匪头子本来就是把跟政府作对当成是自己的本职工作。被朝廷招安，往往就意味着你叛变了绿林道，忤逆了江湖规矩，成为为朝廷卖命的鹰犬，传到江湖上是要被笑话的。但张作霖并不这么认为，乱世出枭雄，时代乱了才有土匪生存的空间，一旦时局变化，土匪不过是乌合之众，要做一辈子土匪是不现实的。在张作霖看来，懂得适时调整职业规划的人才能步步高升，那些只看眼前而没有长远规划的人，往往会很快就被时代淘汰。
1901年前后是东北土匪的黄金年代，在这一年，无数的东北汉子离开家乡，跑进深山老林里拉杆子扯大旗投身绿林。因为就在1900年，八国联军闯入北京，慈禧太后拉着光绪帝仓皇“西巡”，紫禁城里无人当政，最高权力机构相当于一时处于真空状态，加上列强哄抢地盘，俄国排兵南下，1901年的中国，几乎处在前所未有的混乱中。这个时候，太后老佛爷和皇上万岁爷都忙着逃命去了，哪里还顾得上万千黎民的死活？而政府的武装因为腐败严重，也已无法承担维护地方安全的责任，所以，各地的士绅和财阀都自己出钱，请当地的乡勇组织乡团，除了保护地方的安全、维护地方的秩序，更主要的是保护这些士绅和财阀的财产。所以，一时之间，土匪和大团相继出现，到后来，土匪也是大团，大团也是土匪，发展到最后，局势已经不受这些士绅和财阀控制了。
但是到1901年，清政府与八国联军签订了《辛丑条约》，等到1902年1月8日，慈禧和光绪皇帝回到北京城，混乱的局势便逐渐平稳下来。虽然之前人们形容清政府是如何摇摇欲坠，其实自八国联军进北京以后，清政府的新政并没有像人们所说的那么失败，诸多不平等条约（尤其是庚子赔款）虽然涉及了大量赔款，但庚子年（即1900年）的混乱局势很快就得到控制，清政府并没有完全一蹶不振。庚子年后，清朝的经济快速恢复，外国投资逐年增加，中国人自己的工商业也发展势头良好。所以，东北的土匪武装自然就逐渐失去了生存空间。
皇上还朝以后，虽然还是难逃被困瀛台的局面，但慈禧太后回来了。有了当家人，各地军政长官也不敢再三天打鱼、两天晒网了，开始着手改善地方事务。土匪虽然凶悍，但到底斗不过当兵的，再说有吃有喝有了热炕头，谁还总是跑出去做脑袋别在裤腰上的营生？没有了土匪，大团也就失去了存在的价值。更为关键的是，当地的清廷官员到处张贴榜文，要求解散大团，否则朝廷就要出兵来剿灭。但问题在于，组成大团的这些人以前都是无业游民，甚至是为祸乡里的地痞流氓，解散了大团，这些人就没有了正当工作，难免就会重操旧业，等于是给社会带来了不安定因素。
张作霖的这个大团尤其如此，这个大团里不仅有八角台当地的地痞流氓，有自别处慕名投奔而来的，还有一些是在绿林道上颇有名声的匪枭。别看他们组成大团的时候，在张作霖的指挥下保境安民，和当地绅商相处得极为融洽，但如果让这帮人在八角台就地一解散，他们从按月领俸禄的武装人员，恢复成没有经济来源的闲杂人等，那还不把八角台给折腾个底儿朝天？就算他们不再为非作歹，让这么一帮土匪、地痞待在八角台，总不是一件让人踏实的事情。
其中的利害关系，作为八角台商会会长的张紫云自然心知肚明，所以他就琢磨着给大团寻找一个出路。思来想去，最好的出路莫过于让政府将他们招安，当然，在决定之后，他得叫张作霖来探一探口风。如果张作霖不愿意，这件事情可就变得棘手了。哪知道张作霖心里恰好也在做这个打算，毕竟这些人都是亡命之徒，张作霖也明白，土匪少了，他们没有什么事情做，天天闲着也会生出事来。所以张作霖也在为自己想着去路，想来想去，只有投官这条路较为可行，当时他正为没有门路犯愁。张紫云跟张作霖一说，张作霖便欣然同意，二人遂一拍即合。
但问题在于，要向政府推荐张作霖，光靠张紫云一个人的力量是不够的。于是张紫云就去找当地的乡绅们商量，主要是商量怎么处置大团：第一条方案是继续保留，大伙出钱养着；第二条方案是就地解散，出了啥事自己兜着；第三条是大家一起联名推荐给官府，争取收编。当时局势稳定，乡绅们也不愿意再出钱养着大团，就地解决又恐怕滋生祸患，于是就同意联名推荐给政府。
八角台当时隶属于新民府，于是，绅商们就联名写了一封推荐信，托人交给新民府的知府曾韫。曾韫是个蒙古族人，属于镶黄旗，镶黄旗在八旗里属于“上三旗”，多归皇帝亲自率领，所以在清廷中属于和皇家比较亲近的一支。这个曾韫在晚清的蒙满贵族里，还算是个没有堕落到底的，他是附生出身，虽然不免有宗亲照顾的因素，但多少还是有点儿墨水的。这里多提一句，后来辛亥革命爆发的时候，曾韫被新军俘虏，女佣张妈带着自己的养女逃离府衙，张妈的养女辗转到北京八大胡同里做起了青楼营生，艺名便唤作“小凤仙”。
在张紫云等人的推荐信上，八角台的士绅对张作霖极尽赞美之词。曾韫看过之后，便对张作霖有了些许好感，于是便接见了张作霖。张作霖到知府衙门拜见曾韫时，好好拾掇了一番，并且以弟子身份行叩见礼，称呼曾韫为老师，说话温文尔雅，完全不似大多数武夫那般莽撞和粗鄙。前文提过，曾韫是个半吊子读书人，当时行伍之人都流行“文人之兵”，哪怕肚子里没有多少墨水，也装出一副读书人的清高姿态。曾韫多半就是这种人，而张作霖恰巧也是个半吊子读书人，所以他的这副做派可以说是正对曾韫的路子，加上对曾韫毕恭毕敬，更是给曾韫留下了极好的印象。
于是，曾韫在送走了张作霖以后就将收编民团为政府所用的思路，整理成了一个折子，递给了自己的上级增祺。虽然曾韫和增祺的名字很像，但却不是本家，增祺是纯正的满人，属伊拉里氏，是镶白旗，曾任齐齐哈尔副都统，后出任福州将军，充船政大臣，兼署闽浙总督，于1898年出任盛京将军。总体来说，增祺的能力可能还不如曾韫，但人家出身好，是满人，在清朝末年，八旗子弟严重腐化，但凡能够骑着马跑两圈，就算是栋梁之材了。增祺固然无法和清末的良弼、端方相比，但比起辛亥年间的瑞徵、荫昌来，还是多少有些见地和魄力的。
就在曾韫将改编张作霖的大团的折子递给增祺的时候，增祺其实也在考虑如何处置这些多如牛毛的大团，当时有人提出“化私团为公团”，但是地方官员里有人支持有人反对：支持的人认为，这些武装既然已经成形不如纳为己用；反对的人则认为，这些武装大多都没有经过正规军事化训练，人员混杂。但是在综合了这些意见以后，增祺本人则比较倾向于接收这些大团，与其放纵这些人为祸地方，不如召入政府中听用，遂决定“化盗为良”。于是，曾韫的折子正逢其时，增祺当即就给予了批准。
消息传回到新民府，曾韫再次召见了张作霖，要他回八角台去招兵买马，限时限日到知府衙门来报到。但这时候张作霖又碰到一件头疼事，之前他来见曾韫的时候，说话说溜了嘴，信口说自己的大团现在有一个营的人马，曾韫于是就按照营的规模给他定了建制。这就意味着张作霖回到八角台以后必须尽快招兵买马，好在当时处于困境中的大团到处都是，很多首领都不知道该何去何从。张作霖就派人四处联络这些大团，黑山县的薄振声还有附近的薄芳庭、叶景全等，纷纷赶来投靠，但这些大团，多则二三十人，少则十几个人，人数还是不够。
就在张作霖犯难的时候，他想起了在姜家屯曾搭救过自己的汤玉麟。汤玉麟当时已经是附近最大一伙土匪，手底下有一百余人，而且很多都是当过兵的，战斗力也最为强大。于是，张作霖带了几个人去红罗山找汤玉麟，哪知道汤玉麟也正在为将来的生路犯愁，不知道该何去何从。张作霖与汤玉麟是过命的交情，自然不用太多客套，二人见面了以后，张作霖便开门见山说明来意，汤玉麟问过队伍里的三老四少，大家也都同意接受招安，于是，汤玉麟就率领自己的队伍跟随了张作霖。
汤玉麟入伙之后，张作霖终于凑足了人数，于是带着自己的部队到新民府接受点编。在张作霖的突击训练下，这支队伍看起来还是非常整齐有序的，与平常所见的地方武装完全不同。曾韫遂将张作霖所部改编为新民府巡警前路游击马队，委任张作霖为帮办，所部仍然驻守在八角台。虽然驻防的地方没有改变，但队伍的性质却完全变了，成了清政府的武装，有了充足的粮饷供给，张作霖的队伍终于不必再依赖当地的士绅了。
在这期间，张作霖仍然没有放弃吸收更多的队伍入伙，使自己的游击马队不断壮大。到第二年，也就是1903年的7月，张作霖的队伍更为壮大，随即和新民街巡捕队合并为巡防马步游击队，此时张作霖的手下已经有了500余人，其中有两哨骑兵和三哨步兵。哨是清朝的军队编制，一哨的人数不等，在100人左右。张作霖为管带，张景惠为帮办，中哨哨官由张作霖兼任，前哨哨官为张作相，左哨哨官为汤玉麟，右哨哨官为王立有，后哨哨官为赵五把式。按照今天的军制来说，哨官也就相当于连长，管带则相当于营长，帮办也就是副营长。合并之后的巡防马步游击队也由八角台移驻新民府，主要负责维护地方治安和剿灭土匪，张作霖终于从绿林踏入了官场。
对张作霖来说新民府是一个全新的环境，所以以前的好多策略都不能用了。官场和绿林毕竟是两回事，靠干几碗酒、啖几块肉就能解决问题的时候过去了，他将要面对的是全新的世界。初入官场的张作霖显得小心翼翼，他首先极力讨好“引路人”曾韫，在曾韫面前始终毕恭毕敬，出入皆执弟子礼。张作霖在表面功夫上做足了文章，对曾韫言听计从，无条件服从曾韫的命令，并且“馈以金钱”，曾韫遂以张作霖为心腹之人，成为曾韫不可或缺的左膀右臂。另外，张作霖对所部要求严格，与当时清廷的满汉士兵完全不同，张作霖的兵纪律严明、作战骁勇。
在得到曾韫的信任之后，张作霖在新民府巩固了自己的势力，排挤走了新民府的巡警局长王奉廷，从而将新民府的军事实权掌握在了自己一个人的手中。张作霖对内排除异己，对外则笼络新民府当地的绅商，加上他有张紫云的这层关系，很快就与新民府的绅商打成一片，他的关系甚至已经慢慢伸向了奉天。此时的张作霖已经完全不是那个走投无路的兽医，也不是被金寿山逼得落荒而逃的败军之将，他踌躇满志，准备放开手脚大干一场，可偏偏是在这个时候，日俄战争爆发了。
关于引发日俄战争的原因，还要从甲午中日战争说起。在甲午战争中，日本战胜了中国，和中国签订了《马关条约》，割走了中国的辽东半岛。日本想要辽东半岛，俄国人也想要，而且俄国人早在沙皇亚历山大三世在世时就开始着手修建西伯利亚大铁路，借此将自己的势力版图逼近中国。因此日本要取走辽东半岛，俄国人就反对，并且联合德国、法国发动“三国干涉还辽”事件。日本当时刚和清廷战罢，无力再战，被迫同意让清廷以3000万两白银“赎回”辽东。随后，俄国便出动战舰闯入旅顺口，又出兵强行“租借”旅顺、大连及附近海域，实际上占据了辽东半岛。
1900年，俄国以镇压义和团运动为由出兵，企图独霸东北，实现其所谓“黄俄罗斯计划”，此举招致英国、日本等国的不满，同时遭到东北人民的反抗，于是在1902年决定撤兵。但是到了1903年8月，俄国又成立以旅顺为中心的远东总督区，任命阿列克塞耶夫为总督，接着又重新占据奉天。法国遂和俄国建立“法俄同盟”瓜分东北，这样其他列强就不干了，于是在英国、美国、德国的支持下，日本于1904年决定派兵进入东北，和俄国争夺在东北的权利。
仅仅才安生两年的东北再次被裹入战争的硝烟中，战争爆发之后，清政府以辽河以东为战区，以西为中立区。但是战争打响之后，哪里还有什么中立区，到处都是枪炮声。新民府处于辽西，乃是重镇，张作霖除了担负境内的治安，还必须要和俄国人、日本人周旋。刚开始，俄国人在战争中占据上风，张作霖便倒向俄国人，并且接受俄国军队提供的枪械和金钱，帮助俄国军队进攻日本军队。但是没有多久，日本军队逐渐开始掌握战局，张作霖在一次行动中被日方抓住，成了俘虏，还险些掉了脑袋。被释放之后，张作霖就同日军签订誓约，“立誓援助日本军”，于是又接受了日本人提供的枪械和金钱。
日俄战争让东北的很多土匪都遭受重创，很多民团和土匪都在战争中被俄国和日本的军队重创或是剿灭，清廷的部队也不同程度受到损失。而反观张作霖的部队，不仅没有受到损失，反而扩编为3个营，所部使用的枪械也焕然一新，这当然归功于张氏在日、俄之间左右逢源，不仅解决了很多复杂的问题，还利用日、俄双方增补了实力，从而在战争中牟利。虽然不是靠什么正大光明的手法，但比起那些损兵折将的人来说，还是显得颇为明智，这回，张作霖又要升官了。
等到日俄战争结束，曾韫已经升到奉天府府尹，官职从四品升到了二品。此时清政府已经潜移默化地进入北洋系掌权的时代，而新民府知府则换成了亲北洋系的沈金鉴，盛京将军也换成了日后支持袁世凯称帝的“嵩山四友”之一的赵尔巽。赵尔巽和沈金鉴都是初抵东北，所以也想要扶植拉拢一些地方的实力派，在日俄战争中政绩颇佳的张作霖自然被他们相中。1906年，赵尔巽和沈金鉴下令，将张作霖的部队由3个营扩编为5个营，张作霖就因此当上了5个营的统带，相当于团长的职务了。