张作霖这个人，不管放到哪个年代，都属于“没事瞎折腾”的典型。史书上讲到那些啸聚山林的绿林好汉，大多是官逼民反、逼上梁山，没有几个人在家里过得好好的，然后出去当土匪的。哪怕是在民初的东北，土匪成患，大多也是因为穷困潦倒，不得不铤而走险。但是落草之前的张作霖呢？有一份正当职业、有一技之长，上有老下有小，怎么看过的都应该算是小康生活，但就是这样一位不愁吃穿的人，居然要放着好好的日子不过要去当土匪。
张作霖当时所在的辽西，在甲午中日战争之后成了三不管地区，开始出现大量的土匪。东北人管土匪叫“胡匪”或者是“胡子”，称土匪头子为“绺子”。关于这个称呼的由来，有两个传说：一是说土匪多是啸聚山林，因为要躲避政府和地方武装的围剿，所以经常躲藏起来，也就顾不上打理形象，所以就长出了乱糟糟的胡子，一看长相就是土匪；二是说当初东北土匪的祖师爷抢劫的时候，为了起到恐吓作用，也怕被其他人认出来，就会身穿奇装异服，并且在脸上挂着假胡须。不管是其中哪种解释，都说明“胡子”意味着一种凶神恶煞的形象特征。
每到冬天，土匪都会躲起来“猫冬”，春天冰雪融化之后再出来打家劫舍。土匪管抢劫叫“砸窑”，抢劫大户人家就叫“砸响窑”。土匪人多，又需要马匹又需要枪支，单去抢劫贫苦老百姓是不行的，因此隔三岔五就会砸一次“响窑”。于是，害怕被土匪侵扰的大户人家就联合起来出钱，资助当地的一些勇武的青年组成自保的地方武装，当地称之为“大团”。所以，后来有人说张作霖是土匪出身，多少有点儿冤枉他，因为张作霖最早做的其实是维护地方安全的事务，到后来才客串了两天土匪，但也是因为生计所迫打两天临时工，但说张作霖是绿林出身却是没有错的。
在赵家庙附近经常有土匪出没，张作霖的岳父赵占元就与当地其他几户地主合计着建立一个大团。张作霖闻讯之后，就亲自跑去见岳父，表示自己愿意承担起维护地方安全的责任。赵占元自然很高兴，张作霖毕竟是在毅军里当过兵、打过仗的，由他率兵可以保证训练规范，战斗力多强不好说，有模有样至少是没有问题的。于是，赵占元就联合赵家庙的几个地主，凑了些钱，交给张作霖，让他去招募乡勇。因为做兽医的缘故，张作霖经常跟绿林道上的人打交道，也认识不少当地的乡勇，所以拉起队伍来不是问题。加上他平素就仗义疏财，很多人也愿意跟着他。
没有几天，张作霖就拉起了自己的大团，一共有二十余人，当上了小头目，陆续将附近几个村子的治安都负责起来。关于张作霖这支大团的战斗力，看起来是不错的，因为据说在张作霖拉起队伍之后，附近的土匪都鲜少到赵家庙来，偶尔流窜过来的几伙土匪也很快被击退。张作霖将自己所负责的地区称为“保险区”，并要求自己的队伍在“保险区”内必须遵章守纪，积极维持治安。张作霖的这支队伍，完全是按照正规部队的训练方式训练出来的，战斗素养虽然比正规部队还要差很多，但是对付由乌合之众组成的土匪还是绰绰有余的。加之张作霖对这些乡勇要求严格，受到地方乡绅的支持和欢迎，大团得到的经费支持也日渐充足，从而保证了战斗力。
不过，虽然在自己的“保险区”里奉公守法，但出了自己的地盘可就不好说了。碰到手头紧张的时候，张作霖也会带着自己的大团出去抢点儿。关于东北土匪的这种情况，其实在很多地方都有类似之处，古代有“官匪一家”之说，因为大团这种组织，是有匪才有团，如果这个地区没有匪了，大团也就失去了存在的必要。所以大团之间也互相串串门，你来我这里砸窑，我把你打跑了，显示我在地方上的价值，当然，也不让你白来，顺手拿走点儿鸡零狗碎也就睁一只眼闭一只眼过去了。等到你那边长时间没有土匪滋扰，我就过去放两枪，也自你那边提点儿鸡零狗碎回来，这样土匪不断，大团也就不会绝。
但是自张作霖的大团拉起来以后，远处的土匪就不敢越界来滋扰了，而邻近的村子也都来找张作霖，出钱将自己的村子划入“保险区”，张作霖管辖的范围由此不断扩大，达到了二十多个村子。同时，张作霖的名声也越传越广，在东北的绿林道上算是一个有点儿名声的人物，江湖上的朋友说起来，也知道有这么一号人物。在赵家庙拉大团，应该算是张作霖江湖生涯中的第一桶金。
也是在此间，张作霖结识了锦西红罗山的土匪头子汤玉麟。汤玉麟是辽宁阜新人，字阁臣，1871年7月生于四道桥子（今新民乡，也有说生于辽宁义县稍户营子霍家沟，即今太平沟），少年时因家贫无钱读书，遂给地主家放牛羊，后来赶车为雇主运送货物，习得一手好枪法。一次外出运货时被土匪抢劫，遂到大凌河投奔苑四、苑五兄弟落草。此后羽翼渐丰的汤玉麟离开大凌河，到锦西红罗山招兵买马，甲午战争后一帮溃败的清军投到汤玉麟的山寨入伙，使汤玉麟成为辽河流域有名的“大杆子”。
土匪也讲究个均衡，实力相当才能够共存，一旦有一伙土匪率先壮大起来，这个地方就没有办法维持平衡，也就没有办法继续待下去了。张作霖在赵家庙本来待得好好的，但是在他管辖的“保险区”西北部，忽然崛起了一个大团，领导这个大团的人名叫金寿山。
金寿山的这个大团里，几乎都是当地的一些地痞流氓，他们在张作霖的地盘上没有办法兴风作浪，就跑去投靠金寿山，于是，金寿山的大团很快就壮大到了一百多人，成为远近势力最为雄厚的一个大团。金寿山的大团总部设在中安堡，人员比较复杂，大多是无恶不作的地痞流氓，所以到处烧杀劫掠。仗着自己的大团人多势众，金寿山不断扩大自己的活动范围，很快就开始涉足张作霖的“保险区”。
张作霖负责的就是维护地方安全，如今金寿山到他的地盘里来烧杀劫掠，他自然不能坐视不管。好在金寿山的大团虽然人多，但大都是地痞流氓，还有不少是大烟鬼，平时欺负老百姓还行，真打起来战斗力就差远了。所以张作霖虽然带的人不多，但是却很快打败了金寿山，占据了中安堡。在占据中安堡之后，张作霖代替金寿山成为附近势力最大的大团，到这个时候，张作霖的事业就更上了一个台阶。在扩大了势力以后，张作霖多少有点儿放松了警惕，他并不知道，金寿山随时都在准备反攻。
1901年腊月三十的夜里，正当家家户户高兴地过除夕夜时，土匪金寿山带着人马趁着夜色来到赵家庙，对张作霖的大团进行了偷袭。完全没有防备的张作霖被金寿山的部队打得大败，带着妻子女儿慌忙逃出重围。但金寿山这一次不准备轻易放过张作霖，他被张作霖打败了会回来报仇，他相信张作霖虽然一时失败，但日后必然也会回来找他报仇，所以金寿山准备斩草除根。张作霖是慌忙出逃，又带着家眷，在行动上自然不如金寿山迅速，眼看着就要被金寿山的人追上。
借用评书里的一句话，只听得一棒铜锣声响，忽然自斜刺里杀出一队人马，救了张作霖的性命。来人正是张作霖的旧识汤玉麟。汤玉麟是辽西地区势力较大的一伙土匪，其耳目眼线众多，在获悉金寿山要偷袭张作霖的消息之后，因为交通工具不够发达，没有办法事先通知张作霖，于是就带着一帮人赶往赵家庙。虽然汤玉麟没有赶在金寿山之前抵达赵家庙，但总算是在半路上遇到了张作霖，于是立马招呼手下人前去搭救。金寿山虽然来势汹汹，但战斗力到底比不上汤玉麟的手下，不大工夫，金寿山的人就被打散了，汤玉麟护送张作霖抵达了姜家屯。
此时的张作霖是不能回赵家庙了，虽然汤玉麟愿意帮忙，但靠别人去夺回地盘毕竟不是老张的性格。加上当时赵春桂怀着身孕，张作霖还是想过了冬天再回去找金寿山算账，汤玉麟知道张作霖的脾气，也就没有强求，给他留下几支枪和粮食，就回转红罗山去了。而张作霖和自己的手下人经过商量，决定到辽阳境内的高家坨子投靠大土匪冯德麟。冯德麟是辽宁海城人，字麟阁，幼年家贫，长大后则投身绿林，此后得到黑山县齐家窝棚举人刘东闽的支持，在辽阳界内的高家坨子拉起大团。冯德麟的大团在当地势力最大，在牛庄、海城和黑山、广宁有大小队伍一百零八帮，号称一百单八将。
但是要抵达高家坨子就必须经过八角台，就在自姜家屯到八角台的路上，途经桑子林詹家窝铺（今九间乡鄂家村张家堡屯）的时候，赵春桂在马车上给张作霖生下了一个儿子。这是张家的第一个儿子，让张作霖喜不自胜，他给这个孩子起了个乳名，叫“双喜”，一则是庆他们在金寿山枪下逃得性命，二则是庆老张家自此有后。后来，也有人称呼这个孩子为“小六子”，成人之后则称他为“少帅”，他就是日后名震中外的张学良。
但是这样一来，他们的行动就慢了下来，赵春桂需要坐月子，而且带着孩子毕竟不太方便。离开詹家窝铺以后，张作霖就决定在八角台多休整一段时间。在八角台，张作霖又结识了当地商会的会长张紫云，原来张紫云之前就听说过张作霖的名声，对张作霖非常敬佩。两个人把酒言欢之际，张紫云还告诉张作霖一个让他无所适从的消息：高家坨子的大土匪冯德麟前不久被俄国人抓走了。
冯德麟怎么会得罪俄国人呢？这里得说说冯德麟的大团成立的时代背景。话说甲午中日战争中清廷战败之后，清廷和日本签订了《马关条约》，将辽东半岛割让给了日本。日本占据辽东半岛，就伤害到了其他列强的利益，于是，俄国、德国和法国以提供“友善劝告”为借口，要求日本将辽东半岛归还中国，史称“三国干涉还辽”。1896年，俄国与清廷签订《中俄密约》，其中就包括修复中东铁路权。在签订之后，俄国乃出兵进入东北。辽西乡绅为了保护家产，于是纷纷组建堡防、乡团、联社会，一来是对抗土匪，二来则是阻止俄国人。
而且冯德麟阻击俄军，是得到清廷支持的，至少是默许的，据说资助冯德麟的刘东闽曾专门到奉天为冯氏请命。所以，冯德麟便大张旗鼓地对抗俄国人，加上政府的默许，他的队伍也就越来越壮大。1901年2月，俄国派出马队突袭小北河附近的冯德麟武装，冯德麟被捕，并被流放至库页岛。张紫云把这件事告诉张作霖以后，张作霖就有点儿傻了，因为自己这一路本意是要去投靠冯德麟的，冯德麟已经被打败，必须得调整自己的计划了。
说起张紫云对张作霖的印象那是相当不错的，据书中讲，张作霖“北人南相，眉清目秀，且行止有矩，谈吐不俗”，所以就有意让张作霖留下一起维护地方安全。八角台（今属台安县）在当时是个大集镇，这里的商号大大小小有五十多家，如果在这里组建大团，靠张作霖的本事，肯定比以前在赵家庙时候的队伍更壮大。张紫云一片盛情，但张作霖却不知道该怎样答复，因为就在张作霖抵达八角台之前，这里已经有了一个大团，领头的人名叫张景惠。
张景惠是八角台本地人，字叔五，青年时代跟随其父卖豆腐为生。张景惠的性格比较粗犷，喜欢结交朋友，经常出入赌场，这一点跟张作霖倒是颇为相似。甲午中日战争以后，张景惠在八角台商务会长张紫云的支持下，拉起了大团，命名为“自卫团”，并且亲任首领，为八角台当地的商号看家护院、维持秩序。张作霖虽然名动一方，毕竟是外来的人，有道是“强龙不压地头蛇”，张景惠则是本地土生土长的，他自然不能抢张景惠的营生。
哪知道，张景惠也听说过张作霖，获悉张作霖到了八角台，也赶来见面。张作霖和张景惠二人性格相投，可以说是一见如故，张景惠虽然比张作霖长几岁，但却甘愿拥护张作霖担任八角台自卫团的首领，而自己当副手。张作霖自然要推让一番，但耐不住张景惠的劝说，遂决定留在八角台。于是，张作霖便担负起八角台的治安，并将自己带来的四十余人也编入自卫团，而张景惠则唯张作霖马首是瞻。
果不其然，张作霖担任自卫团的首领之后，自卫团的面貌焕然一新。首先，训练就不一样了，张景惠原来当头的时候，就是练练打枪，跟一班地方上的乌合之众没有什么区别，张作霖接手之后，训练变得正规，强调军容军纪。其次，因为张作霖在绿林道上的名声，其他地方人数不多的大团也投奔而来，还有一些土匪，也慕名来投奔，加上八角台商户众多，钱不成问题，自卫团的规模很快就变得更为壮大。而在投奔张作霖的人中，有一个人颇得张作霖的赏识，他名叫张作相。
张作相生于锦州义县杂木林子村（即今辽宁省锦州凌海市班吉塔村），幼时读过三年私塾，因家贫辍学，后因族兄遭仇人杀害，他怕受牵连流落奉天。在奉天时，张作相帮人打短工，也做泥瓦匠，生活困苦，经常遭人欺凌，于是生出落草为寇的念头。随后，张作相潜回杂木林子，与本村的另一人联手杀死害他族兄的仇人，率领几个人逃出，自此拉杆子做了土匪。张作相的队伍人数一直不多，所以当了土匪也属于到处遭人驱赶的那种，他听说张作霖在新民府八角台拉大团，就带着自己的人投奔了张作霖。
在张作相入伙之后，张作霖的队伍就比之前在赵家庙时还要壮大，自此辽西地区的绿林好汉都知道了张作霖的名声。但是对张作霖来说，拉大团的日子虽然风光，但这并不是他最终的目标，而且随着社会趋于稳定，土匪一旦减少，大团存在的价值也就没有了。继续当民间武装无疑不是长久的出路，张作霖想要的是接受政府的“招安”，只有拿了官家的俸禄，才算是真正当上了终身军人。