甲午战争对于腐朽的清王朝来说是当头一棒，之前慈禧老佛爷还能够摆出大国的姿态对西洋人割地赔款，但随着甲午战败，她老人家赫然发现不仅是西洋人，连一衣带水的小国日本都能够在大清国的身上作威作福了。伴随着甲午战败，有两个声音开始频繁出现在社会上，一个是“练兵”，一个是“立宪”。当时几乎连紫禁城的门房老大爷都知道中国需要“变”，求变就如同求生。既然给洋人打败了，那就学着洋人的模样，于是有了“师夷长技以制夷”。“立宪”的口号那时候喊得还不够响，赫赫有名的“公车上书”也不过是读书人的小规模行为艺术，倒是“练兵”先轰轰烈烈地搞了起来。
从最早的天津武备学堂开始，清王朝的统治者已经开始寻求军事上的改革，但是基层军事教育体制的改革终究只是理论上的变化，落实到实践上就必须进行军事训练的改革。于是在光绪二十年（1894），清廷派广西按察使胡燏棻到天津附近马场开始练兵，次年移驻天津东南新农镇，即小站，后由袁世凯接替，史称小站练兵。胡燏棻这个人，是同治年间的进士，后来拿钱捐了个道员，办事有能力，又以“谈洋务”著称，曾上疏言变法自强，深得李鸿章赏识。
胡燏棻和袁世凯，各有千秋，说孰好孰坏，也是难分高下。按照丁中江《北洋军阀史话》中的说法，胡燏棻曾把英国使节交来的《应时练兵说帖》交给宁波人王修植（注：王修植为定海皋泄人，定海在1950年归属浙江宁波专区管辖，1987年起属浙江舟山市）帮着整理修改一下，王修植脑子活泛，对新政也颇有研究，而且文采不俗，就改出了两个版本的稿子：一个版本的稿子比较平实，另一个版本的稿子则讲究些文辞。胡燏棻拿走了第二稿，把它交给庆亲王奕劻和荣禄，从而博得他们的信赖，得到了去天津练兵的机会。
袁世凯没有想到这活儿被胡燏棻给抢了先，就找人去打听，才知道原来胡燏棻是找了王修植。袁世凯紧接着找到了王修植，还拉着他一起拜把子，请来京城侯家巷的名妓陪王修植，王修植就把《应时练兵说帖》修改稿的第一个版本交给袁世凯。
袁世凯不是书呆子，他拿到这个稿子之后早晚诵读，还根据自己的经验进行了改进。袁世凯准备妥当了，就去找荣禄，荣禄逐条考察袁世凯，袁世凯不仅对答如流，而且能够抓住要点。荣禄一看，这个家伙了不得啊，就把袁世凯带去见醇亲王载沣和庆亲王奕劻，两位王爷也是逐条考察袁世凯，袁世凯照样对答如流，比胡燏棻更能抓住要点。会下苦功夫的还是输给了会下巧功夫的，于是在这场关于练兵终极人选的擂台赛中，袁世凯经过复活赛和加时赛后PK掉了胡燏棻，如愿胜出。
在这里，不能不提光绪二十一年（1895）保举袁世凯练兵的几位仁兄。这几个人里，醇亲王载沣、军机大臣翁同龢都属于新势力，翁同龢后来还卷进了戊戌变法；庆亲王奕劻、李鸿章、荣禄这几个人就不多说了，慈禧太后的跟屁虫，旧势力的卫道者。这么一列举就能理解了，袁世凯这个人狠啊，新旧势力的人都保举他。说明什么？说明在新势力那边觉得他是同伙，旧势力的人也觉得他靠得住。
这里有个题外话，是说近来一项英国研究发现，男性如果有圆下巴大圆眼睛和偏向女性化的五官，比较容易获得他人的信任。对照老照片大家就可以看到，袁世凯不仅不够高大威猛、玉树临风，而且是五短身材、体态臃肿，因此显得头颅硕大，“圆润”得多少有点儿过了，民间的老百姓甚至因此讽刺老袁，说他是“蛤蟆精转世”。如果以貌取人，袁世凯先生的容貌基本符合英国研究者的描述。当然，在错杂纷乱的政坛，靠脸庞办事只能是句玩笑话，袁世凯能两面都吃香，两面都混得开，还是他的混世之术太到家了。
袁世凯是在光绪二十一年十月（1895年12月）领旨，以浙江温处道督练定武军。
甲午战争剑拔弩张、高潮迭起，段祺瑞在弥漫的硝烟里指挥着他的学生们“跟我来，冲啊”，带着几百个热血沸腾的年轻人穿过战火，将清军急需的炮弹送到前沿阵地上，让无数人的血脉偾张。但是别着急，段祺瑞和皖系军阀的这出大戏还没有开始呢，这顶多是个序曲。
接着是清朝末年凄凉的音乐，情景切换到了东海的海面上，水面上漂浮着清兵们的尸体，北洋海军那些曾经威武的军舰东倒西歪地横在水面上。为了配合这种历史氛围，天上可以飘过来一些黑烟，然后特写镜头里出现一个清军的龙旗。当然，也可以借鉴徐克在电影《男儿当自强》里的片头，无数光膀子的老爷们儿站在海滩上练拳，一列火车轰鸣着从远方开来，不过火车里坐着的不是年轻帅气的黄飞鸿，而是大脑壳的袁世凯。
要说小站练兵，首先得从小站说起。小站原名叫新农镇，距离天津七十里，是天津到大沽火车站中间的一个小站。这个地方原本很荒凉，只是因为后来修了铁路，促进了经济发展，人气旺了，才热闹起来。李鸿章所辖的一部分淮军有几年驻扎在这里，他们引水灌溉种植粮食，倒是让小站热闹了一段日子，不过到小站练兵之前，淮军早已经离开了小站，那里其实只剩下了一片废垒。
到了小站以后，袁世凯组织人手打扫打扫卫生，把场地都修缮一新，又打了个报告给上级把定武军改为新建陆军，名不正则言不顺嘛，既然是“新军”那就什么都从头开始。场地修缮完毕了，就让手下人该招兵的招兵，该买马的买马，武器也不能还用过去老式的了，和军务处说一声，配新的，必须整齐划一，杂牌子的武器统统扔掉，其中最受照顾的无疑要数段祺瑞和他的炮队。到了清朝晚期，大刀长矛已经不是主要的作战武器，洋枪和洋炮开始成为战争的主角。
在组建炮队的过程中，段祺瑞结识了一个来自山东的年轻人，名叫靳云鹏。靳云鹏字翼青，生于山东省邹县（今邹城市），后迁住济宁。靳家一共有兄妹七人，靳云鹏在兄弟中居长。靳云鹏的父亲去世得早，他的母亲邱氏靠卖煎饼、当奶妈维持生计，靳云鹏他们兄妹几人也经常走街叫卖。八岁的时候，靳云鹏得以进入私塾读书，但是读了五六年以后，因为家中生活困难，只好到南关柳行街当勤杂工。1894年，靳云鹏和弟弟靳云鹗到天津小站投入新军，被分配到了段祺瑞的手下。靳云鹏有个缺陷，就是斜眼，所以只被列入“备补兵”，做一些清扫马厩、厕所的工作，但他勤恳踏实，虽然职位卑微但勤奋好学。一次袁世凯巡营的时候，发现他工作勤恳、学习认真，认定他是个人才，于是特别叮嘱段祺瑞给予提升。
在袁世凯的提点下，段祺瑞也开始留意靳云鹏，随后多次保送靳云鹏到军校学习。可以说，靳云鹏是日后成型的皖系军阀中，最早一批被团结到段祺瑞身边的嫡系，也是日后段祺瑞最为倚重的皖系“四大金刚”之首，即便是后来段祺瑞最为亲近的徐树铮，在皖系中的地位也无法和靳云鹏相提并论。除了靳云鹏，段祺瑞在小站练兵期间还结识了不少志趣相投的人，包括张怀芝、段芝贵、倪嗣冲、卢永祥、田中玉等，这些人日后都成了皖系军阀的中流砥柱。
1898年9月9日，新建陆军随营武备学堂告成，清政府给予炮队学堂监督段祺瑞等升叙加衔。在晋升的同时，段祺瑞将靳云鹏送入附设炮队随营武备学堂第一期学习，毕业后又将靳云鹏留任教习。从此以后，段祺瑞的身边再没有缺少靳云鹏的身影。1908年靳云鹏出任云南新军第十九镇总参议，算是正式成长为独当一面的北洋系将领，而皖系的扩张与成熟也自那一天开始。
在光绪皇帝苦心经营的戊戌变法失败以后，1898年12月，得到清政府信任的新建陆军改为武卫右军，段祺瑞仍然统领炮队，并且赴日本观操。也就在这个时候，轰轰烈烈的义和团运动在山东爆发了，而当时的山东巡抚仇视外国侵略者，对义和团剿抚兼施，以安抚为主，使得山东境内一时到处都是义和团。
1899年，荣禄委派袁世凯署理山东巡抚，就是想打压义和团的声势。袁世凯带着武卫右军开赴山东。对于随军的段祺瑞来说，此次山东之行实在是“杀鸡用牛刀”，他的炮队是为了对抗洋人才组建起来的，用着大刀长矛的义和团在他眼里实在是不堪一击。但是，这毕竟是袁世凯和他的初次出征，即便是面对义和团这样的群众武装，他们也丝毫没有手下留情，到了山东以后，开始大举整肃义和团，将义和团驱逐出了山东。
1900年5月18日，段祺瑞的原配夫人吴氏病逝。段祺瑞与吴氏成婚于1886年，彼时他正在天津武备学堂就读，两个人相扶相携十四年，也算品尝过无数酸苦。在妻子的葬礼上，段祺瑞见到了妻弟吴光新，当时二十五岁的吴光新已经是一个高大英武的青年人，段祺瑞发现，记忆里拖着鼻涕到处跑的小舅子如今变得愈发成熟，聊起时事颇有一些见地。吴光新，字自堂，一作植堂，江苏宿迁人，得到段祺瑞赏识的他得以进入日本陆军士官学院就读，日后亦成为皖系军阀中的重要成员。
三个月后，八国联军攻克北京，慈禧太后带着光绪帝夹着尾巴往西边跑，整个北方只有袁世凯待过的山东划境自保，在义和团的兴起之地，既没有战争，也没有洋人被杀的事件。于是等到八国联军撤出北京后，慈禧太后下旨大肆诛杀义和团，袁世凯又立了一功。1901年11月7日，李鸿章去世，一代名臣撒手人寰之后，接手的人选只剩下了袁世凯。
就慈禧太后看来，袁世凯举报光绪帝，他忠诚；袁世凯镇压义和团，他能干。这一年袁世凯只有42岁，作为北洋大臣和直隶总督，毫无疑问他是最年轻的。看看袁世凯的三位前任混到这个职位时的年纪：荣禄62岁，李鸿章47岁，王文韶65岁。除了李鸿章，袁世凯都足够给另外两人当儿子了。
在赴任之前，袁世凯做了一件事，那就是给段祺瑞娶妻。吴氏去世以后，段祺瑞没有续弦，家里没有一个当家的女人终归说不过去，袁世凯就把自己的义女张佩蘅介绍给了段祺瑞。
张佩蘅是江西巡抚、都察院左副都御史张芾的孙女，家世自然比段祺瑞要好很多，但段祺瑞是青年才俊，前途不可限量，张家自然也乐得攀上新贵。
5月31日，段祺瑞正式迎娶张佩蘅，满朝权贵无不派人登门道贺，袁世凯更是亲自主持婚礼。
11月7日，袁世凯任直隶总督的时候，则保奏段祺瑞“以知府仍留原省补用，并加三品衔”，“兼充武卫右军各学堂总办”。袁世凯没有带着段祺瑞一起北上，而是把段祺瑞和自己的老搭档徐世昌留了下来。山东是新军练成之后开辟的大后方，而武卫右军各学堂则是日后新军不断扩大的基石，袁世凯留下自己的军师和重将，显然是为自己的退路和未来制订了周全的计划。
段祺瑞留了下来，他没有提出什么异议，他自然明白山东对于袁世凯的价值和意义，而且身边有徐世昌陪着，他自然知道袁世凯并没有抛弃他。在随后的时间里，段祺瑞兢兢业业地主持着武卫右军各学堂的事务，更为袁世凯所器重和赏识，而几乎在同时，武卫右军学堂里毕业的年轻人，则在无形之中壮大着皖系的势力，甚至可以说，当袁世凯的北洋系才见萌芽的时候，段祺瑞的皖系已经同时生根，恰在此时，段祺瑞遇到了他一生中最为重要的人。
还是在袁世凯没有上任直隶总督的时候，一个叫徐树铮的人到济南向袁世凯上书，陈述“经武之道”。这个徐树铮字又铮，自号则林，是江苏萧县（今属安徽省宿州市）人，自幼聪颖过人，三岁识字，七岁能诗，十三岁中秀才，十七岁补廪生，人称“神童”。但是，这个“神童”的上书并没有打动袁世凯，他没有留用这个有些自大的年轻人，而是把他打发到段祺瑞那里做了记室。记室这个职位，就相当于秘书，工作也就是帮领导写个报告或者抄录个文件什么的，跟打杂的没有什么分别。
对于孤高自傲的徐树铮来说，这样一份工作几乎就是对他的侮辱，他立刻就想拍屁股走人。但是命中注定，他遇到了段祺瑞，段祺瑞看过徐树铮的“经武之道”后，大为赞赏，力劝徐树铮留下担任他的幕僚。徐树铮也是日后皖系的“四大金刚”之一，但他对皖系真正的影响，远要比段祺瑞、靳云鹏来得深远，甚至可以说是他一手创建了皖系，构建了皖系“帝国”。
袁世凯在直隶总督的位置上干得风生水起，段祺瑞也没有在山东待太久。1902年，直隶广宗县（今属河北省邢台市）武举出身的景廷宾在巨鹿县（今属河北省邢台市）厦头寺聚众起义，竖起“官逼民反”“扫清灭洋”的大旗，被推为“龙团大元帅”，随后与附近各县的农民联庄会以及鲁、豫边界的义和团力量取得联络，形成了一支横跨直、鲁、豫三省二十四县的起义军，人数也达到了十六万。清军“围剿”起义军不力，接连遭遇大败，不得已，直隶总督袁世凯只得搬出家底，命令段祺瑞即刻由山东开赴直隶，镇压起义军。
5月，景廷宾在向河南临漳（今属河北省邯郸市）转移时兵败被捕，随后在威县（今属河北省邢台市）被凌迟处死。因为镇压起义军有功，段祺瑞被任命为北洋军政司参谋处总办，并且全面主持编练新军。
7月9日，段祺瑞升“道员留直隶补用，并加二品衔”，8月9日，经袁世凯保奏，准赏戴花翎，加“奋勇巴图鲁”勇号。