杨坚好不容易暂时安定了内部，但不安情绪始终没有消散。他召见掌管天文的太史中大夫庾季才，问他：“吾以庸虚，受兹顾命。天时人事,卿以为何如？”杨坚还在担心自己是否有天命，能否将权柄牢牢掌握。
庾季才回答得很有意思，他说：“天道精微，难可意察。窃以人事卜之，符兆已定。季才纵言不可，公岂复得为箕、颍之事乎！”天道不好说，我只从人事方面来预料，觉得符兆很明确。即使说天时和人事都对您不利，您难道会效法尧帝时代把天下让出去吗？言外之意是，都到什么时候了，还问这种问题，就算没有天命，你还能回得去吗？
杨坚一想，确实如庾季才所言，如今没有什么选择余地了，前面只有这一条路，无论是坦途还是险境，都必须硬着头皮走下去。当前最紧迫的事宜是镇住被忽悠到京的五位藩王。虽然他们手中无兵权，但影响力不容小觑，毕竟现在还是宇文家族的天下。杨坚决定“杀鸡给猴看”，让这几位知道轻重，不要轻举妄动，首先倒霉的是负责京城治安的毕王宇文贤。
宇文贤个性刚强干练，有些谋略，担心杨坚会颠覆宇文氏的江山社稷，想着与五位叔父合谋杀掉杨坚，虽然没有实际行动，但言辞中却透露了这个意思。五王刚到京不久，他被丞相别驾杨雄告发意图谋反，杨坚立即诛杀了宇文贤一家，给了五位王爷一个下马威，希望他们能安分守己，否则宇文贤就是前车之鉴。
杨坚心里很清楚，如今地方势力蠢蠢欲动，在这种情况下，必须要稳住各位藩王，所以不能一味使狠，还要软硬兼施。于是，在杀掉宇文贤后，他让小皇帝下诏令五王可以“入朝不趋，剑履上殿”，这在历朝历代都是极高的赏赐，杨坚这样做，表达了对五位藩王的尊重，希望他们感恩图报。更重要的是为自己争取时间，等将来完全掌握局势后，再来收拾几位王爷。
五位藩王虽然心里很不爽，但他们离开了封地，手中无权无兵，只能暂时向杨坚低头，看看时局变化再伺机而动。
很快，出现了非常有利于几位藩王的事态，地方势力纷纷揭竿而起，举兵反抗杨坚。率先发难的是六十多岁的相州总管尉迟迥，他不仅是一员屡建军功的猛将，而且还是皇亲国戚。尉迟迥是宇文泰的外甥，名望地位素来很高。他所担任的相州总管，是平定北齐后新设置的，也是势力最大的总管府，辖区几乎相当于过去北齐的地盘，包括今天河北、山东以及河南、安徽、江苏的一部分，因此，他是杨坚最担心的人物之一。
杨坚本想着先下手为强，以小皇帝的名义召尉迟迥回京参加宇文赟的葬礼，然后委任久经沙场的老将韦孝宽为新的相州总管，启程前往邺城取代尉迟迥。
尉迟迥当然不会束手就擒，决意起兵反抗，但还需提前做些准备。于是他采用拖延战术，对外宣称接受诏令，并派人迎接接替自己的韦孝宽，但这一切都是假象，真实意图是将韦孝宽骗入邺城杀掉，然后正式起兵。无奈韦孝宽也是一位高人，当年玉璧之战他凭借一己之力打得高欢一筹莫展，如今感觉气氛不对，假托有病故意走得很慢，尉迟迥越是派人催促，他走得越慢，并派人以求医找药为名潜入邺城打探消息。
尉迟迥见韦孝宽不肯上当，为了打消韦孝宽的顾虑，便派他的侄子韦艺前去迎接。韦艺虽然是韦孝宽的侄子，但一直都在尉迟迥身边做事，受其统领，算得上是尉迟迥的死党。韦孝宽见到侄子后，问其此行的真实目的，韦艺避重就轻，一直不说实话，韦孝宽大怒，下令将侄子推出斩首。韦艺是个胆小鬼，一见大难临头，便将尉迟迥的密谋不打折扣地告诉了韦孝宽。
韦孝宽证实了先前自己的猜测，如今再往前走便是羊入狼群，只能掉转马头回京城报告，但韦孝宽知道，如果一味西逃，恐怕跑不过尉迟迥的追兵。于是他想出一条妙计，每路过一个驿站，做两件事情：一是对驿站主管表示尉迟迥的人很快就会来，要提前准备好酒菜；二是临走时将驿站所有的马全部牵走。
果如韦孝宽所料，尉迟迥听说事情败露，赶忙派手下将领梁子康带人来追，结果每到一处驿站，发现没有可替换的马匹，倒是有一桌早已准备好的美味佳肴，只好先饱餐一顿再追，因此追击的速度大为下降，韦孝宽脱离险境进入了安全区域。
与此同时，另一个渠道也报告尉迟迥造反在即。北周大臣杨希尚奉命抚慰山东、河北，走到相州时，正赶上宇文赟驾崩，便留在邺城与尉迟迥一同为皇帝发丧。杨希尚感到有些不对劲，暗地里对随从说：“尉迟迥表现得一点都不哀伤，而且眼神也不对，想必准备图谋不轨。”于是连夜离开邺城，从小道跑了。天亮后，尉迟迥才发现，派人去追，但是没有追上。杨希尚跑回长安后向杨坚如实汇报了情况。
一切都在预示着尉迟迥要有大动作，但此时还没有公开撕破脸皮，杨坚还想做最后的努力，于是派使者正破六汗裒去邺城做沟通解释工作，向尉迟迥明确表示自己没有篡位之心，一切事情都可以商量。同时让正破六汗裒带去一份密信给相州总管府长史晋昶，让他做好准备，相机行事。但没想到，正破六汗裒的保密工作没做好，事情被尉迟迥知道了，让他下定决心起兵造反。
尉迟迥杀掉了正破六汗裒和晋昶，然后集合文武官员和百姓，发表了慷慨激昂的演说：“杨坚以凡庸之才，藉后父之势，挟幼主而令天下，威福自己，赏罚无章，不臣之迹，暴于行路。吾居将相，与国舅甥，同休共戚，义由一体。先帝处吾于此，本欲寄以安危。今欲与卿等纠合义勇，匡国庇人，进可以享荣名，退可以终臣节。卿等以为何如？”大意是说：杨坚以平庸之才，借皇后父亲的权势，挟制幼主，号令天下，作威作福，赏罚不分，其背叛君主的行迹，已暴露无遗。我身为将相，与君主有舅甥之亲，同甘共苦，本应一体。先帝把我任命到这里，本来就寄托着安危大计。如今打算与各位集合义士，匡复国家，保护百姓，进可享受荣华名望，退可保全为臣节操。各位认为怎样？于是“众咸从命，莫不感激”，所有的人都表示坚决拥护。
尉迟迥自称大总管，当时赵王宇文招已经入朝，留下小儿子在这里，尉迟迥又拥戴他以号令天下。不得不说，这实在是一个败笔，尉迟迥在起兵时宣称自己和小皇帝宇文阐有舅甥之亲，又说杨坚挟持幼主，既然如此，最正当的理由应该是“清君侧，杀杨坚”，这样可以占据道德高点，得到更多人的支持。但尉迟迥却另立新主，这意味着北周王朝将走向分裂，因此，造反的合法性在源头上便出现了很大问题。
虽然如此，起初叛军的声势颇为浩大，尉迟迥所管辖的相、卫、黎、毛、洺、贝、赵、冀、瀛、沧各州，他弟弟的儿子尉迟勤所管辖的青、胶、光、莒各州，全都跟随尉迟迥，拥有军队数十万。除此之外，荥州刺史宇文胄、申州刺史李惠、东楚州刺史费也利进、东潼州刺史曹孝达各自据州响应尉迟迥。尉迟迥又向北交结高宝宁，联络突厥；向南联络南陈，答应割让长江、淮河一带的土地，希望得到陈朝的支持。更为重要的是，两个地方总管也起兵响应，分别是陨州(今湖北安陆)总管司马消难和益州(今四川成都)总管王谦，因此这场震动了大半个北周的地方叛乱史称“三总管之难”。
除了尉迟迥，另外两个总管的身份地位也不得了，司马消难的父亲是北齐名将司马子如，女儿司马令姬是当朝皇帝周静帝宇文阐的皇后，也就是说他是当朝小皇帝的岳父大人。王谦出身于太原王氏，父亲王雄是西魏十二大将军之一，王雄在随宇文护东征北齐的过程中被北齐名将斛律光射杀，王谦便成为名门之后。当时三总管的统辖区域占到了北周领土一半以上，他们共同对身居长安的杨坚形成了一股合围之势，再加上其余各方势力的蠢蠢欲动，北周王朝顿时处于四分五裂的危机之中。
杨坚担心什么来什么，但没有任何退路可走，只能强力镇压，成功与否不仅事关手中的权力，更关乎身家性命乃至家族的命运。既然是三个总管作乱，杨坚就派三路兵马去镇压，先是令尚未到京的韦孝宽为行军元帅，讨伐尉迟迥。又令老将梁睿领兵收拾王谦，令王谊率军攻击司马消难。
双方还没交战，韦孝宽的长史李询秘奏杨坚说：“梁士彦、宇文忻和崔弘度三位行军总管私下接受了尉迟迥的金钱，人心异常，可能有变。”杨坚一听脑袋都快炸了，要知道，这三位都是久经沙场的老将，而且是讨伐军的主力干将，如果他们临阵倒戈，后果不堪设想。为了妥善处理此事，他紧急召刘昉、郑译等人来商议，如何能在不生乱的情况下取代三人。
关键时刻，还是要看李德林，他说了一番非常重要的话：“公与诸将，并是国家贵臣，未相伏驭，今以挟令之威，使得之耳。安知后所遣者，能尽腹心，前所遣人，独致乖异？又取金之事，虚实难明，即令换易，彼将惧罪，恐其逃逸，便须禁锢。然则郧公以下，必有惊疑之意。且临敌代将，自古所难，乐毅所以辞燕，赵括以之败赵。如愚所见，但遣公一腹心，明于智略，为诸将旧来所信服者，速至军所，使观其情伪。纵有异志，必不敢动。”
这段话包含几层意思：一是这些将领和杨坚一样，都是国家的重臣，地位上是平等的，没必要一定服从杨坚，现在杨坚只是凭借天子的权威控制和驾驭他们罢了。二是李询的密报真假难辨，如果现在派人取代他们，三人可能因害怕获罪而逃走，如果把他们抓起来，其他将领都会感到人人自危，临阵换将一直是兵家大忌。三是当务之急是派遣一个心腹，此人既要有谋略，同时也要为众将领所信服，立即到军中，观察将领们的举动，即便他们怀有二心，也不敢轻举妄动，如果他们有所动作，能在第一时间发现并处置。
杨坚对此建议什么反应呢？拍着大腿赞道：“若公不发此言，几败大事。”他刚才一听到这个消息，确实有些慌了神，冷静下来觉得李德林说得太对了，如果在没搞清楚的情况下贸然换将，估计仗还没打，军心先溃散了。
只是，按照李德林所言，需要派一个得力的人深入军中，该派谁去呢？杨坚首先想到的是刘昉和郑译，但这两位在宫中是耍弄权术的高手，一听说要上前线，就变成了稀松软蛋。刘昉表示自己从来没有领过兵，实在无法完成任务。郑译则以家中八十岁的老母需要照顾为由予以拒绝。
杨坚无奈只能寻找新的人选，他选定了崔仲方，此人从小喜爱读书，有文才武略。崔仲方以父亲在山东，害怕受到牵连为由变相拒绝了。就在杨坚为人选犯难的时候，有人站出来主动请缨，此人便是丞相府的司录高颎。
高颎精明强干，并且熟习军事，计谋丰富，杨坚很看重高颎，将他视为心腹。说来两人颇有渊源，高颎的父亲叫作高宾，原本在北齐为官，因避奸臣进谗而投奔北周，北周大司马独孤信引其为僚佐，对高宾非常赏识，赐姓独孤氏。独孤信被逼自杀后，虽然他们改回了“高”姓，但高颎不畏危险，坚持和独孤家来往，“以宾父之故吏，每往来其家”，特别是和杨坚的夫人独孤伽罗往来密切，当杨坚刚刚掌权，急需有人帮助自己时，独孤伽罗推荐了高颎，说他是可用之人。
杨坚派人向高颎传达了想将其延揽入丞相府的意思，当时杨坚的地位并不稳固，但高颎斩钉截铁表示道：“愿意接受驱使。即使事业不能成功，我也不怕灭族之灾。”这让杨坚颇为感动，对其更为信任，这次又是在关键时刻挺身而出。其实，高颎和刘昉相同，没有从军打仗的经历，与郑译一样，家里也有一位需要照料的老母，但却欣然应命，忠诚担当高下立判。
高颎少年聪明敏捷，当在孩童时，家有一棵柳树，有百尺多高，繁茂挺拔如同车盖。乡里的老年人说：“这家要出大贵人。”此言在以后得到了充分验证，而他真正发迹就是从此次主动请缨开始的。
高颎到达前线后，首先要解决团结问题，他绝口不提三将受贿的事情，想方设法打消众将的疑虑和不安，特别是对于宇文忻，经常主动和他一起研讨破敌之策，“与颎密谋进取者，唯忻而已”，很快重新凝聚了人心。
解决好内部问题后，高颎下令在沁水上架浮桥，准备发动进攻。不过，这种浮桥很容易被破坏，因为叛军从上游放下点着火的木筏，就可以将浮桥烧掉。这难不倒高颎，他早有准备，预先让人制作了“土狗”，这是一种水中障碍物，就是用泥土堆积成的一种前低后高、前窄后宽的土堆，形状有点像狗。这些“土狗”放在水中，可以有效拦截燃烧的木筏。
驻扎在沁水东岸尉迟迥的儿子尉迟惇想着等朝廷军队渡河至一半时，再发动突然袭击。万万没想到，韦孝宽所部渡河速度非常迅速，根本没有给他机会。与此同时，高颎下令焚桥，逼迫全军背水一战。陷入死地的朝廷军队，只能以一当十，拼死杀敌，尉迟惇的军队无法招架，四散逃命，被杀和践踏而死的不计其数。
尉迟惇本来信心满满，但最后只得单枪匹马逃回邺城。高颎、韦孝宽率部一直追杀到邺城城下。如果单从兵力上来看，尉迟迥还是占优，况且还有主场作战的优势。尉迟迥与儿子尉迟惇、尉迟祐出动全部兵力，共十三万人，在城南列阵。尉迟迥亲率的那支队伍，头戴绿巾，身穿锦袄，号称“黄龙兵”。与此同时，尉迟勤率兵五万，从青州来援，先遣的三千名骑兵率先赶到。尉迟迥久在军中，年岁虽老，仍穿着甲胄上阵，极大鼓舞了士气，再加上黄龙军训练有素，作战勇猛，韦孝宽有些抵抗不住，边战边退。
眼见着朝廷军队败局已定，但奇迹却发生了。创造“奇迹”的正是先前被猜忌的宇文忻，他敏锐地观察到一个现象：战场上除了两支军队外，还有大量来围观的邺城百姓，这些百姓看热闹不怕危险，一下来了好几万人，一层又一层形成了一道人墙。但他们此时还没意识到，危险正在一步步逼近。
宇文忻与高颎、李询谋划说：“事情紧急，当用权宜之计破敌。”他所说的权宜之计是转而攻击围观百姓，制造混乱，乱中取胜。于是，士兵开始向围观群众发箭，正在品头论足之际的百姓们猝不及防，“大嚣而走，转相腾藉，声如雷霆”，喊声哭声震天动地，纷纷往城里拥。由于百姓们慌不择路，有不少跑到了尉迟迥的军队里，队伍很快就被冲散了。就在此时，宇文忻让部下大喊：“贼人败走了啊！”众将士重新振作起来，齐力拼命攻击，尉迟迥的军队完全被百姓冲乱了，又听到这样的喊声，不明真相，为了逃命，跟着百姓一起往城里跑。
尉迟迥的军队彻底失去斗志，韦孝宽手下的李询、贺娄子干等将领带领部属率先登城。尉迟迥退到城楼上，依然拼死抵抗。这时候，轮到另一位受猜忌的将领崔弘度发挥作用了。他和尉迟迥有亲戚关系，具体说崔弘度的妹妹嫁给尉迟迥的儿子为妻，他尾随尉迟迥登上城楼，尉迟迥准备搭弓射他，崔弘度摘下头盔对他说：“你还认得我吗？今日我们各自为了国事，不能顾及私情，但念我们有亲戚之情，我会约束乱兵，不让他们侵辱你的家人。事已如此，早点了断吧，还等什么呢？”
这番话说得言辞恳切，搞得走投无路的尉迟迥战意全无，他不愿当俘虏而自取其辱，于是主动放下弓箭，对杨坚破口大骂一番后自刎而死。尉迟勤叔侄三人逃奔青州，但在半路被追上抓获，后来都被处死，持续了六十八天的尉迟迥叛乱被平定了。
再说其他两个总管，就在消灭尉迟迥十天后，王谊率军进逼陨州，司马消难闻讯连夜逃窜，投奔到了南陈。至于益州，梁睿率二十万大军入蜀，连战连捷，随即攻克成都，王谦在逃亡路上被杀，首级被送到京师，自此，看上去很热闹的三总管之乱就这样落下帷幕。
杨坚能如此迅速地取得胜利，《剑桥中国隋唐史》说了几个原因：“杨坚的关中平原根据地长期以来是远征的跳板，只要他有取得胜利的迹象，就能得到从北周继承下来的强大的战争机器的效忠；他还掌握着统一领导和各个击破分散敌人的优势；何况后者只有地方的追随者，各怀私心异志，缺乏协调的战略；当时重要的地方和地区领袖依然举棋不定，杨坚的任何敌人的有力行动都可能导致他的失败。”除此以外，同时指出杨坚取胜的关键是重用高颎，“杨坚得力于高颎，而他的敌人又缺乏想象力和个人魅力，所以他继续走运”。
从三总管的角度来分析，他们失败的主要原因是始终没有联合起来，各自为战，缺乏必要的协调。事实上，他们也做过这样的尝试，但由于遭到了激烈的抵抗而没有实现，亳州总管贺若谊西抗司马消难，东拒尉迟迥，使得两军始终不能会合。利州总管豆卢昼夜督战，成功抵抗四十天，堵死了王谦出川的要道，将其困在益州。就这样，三总管虽然同时起事，但却被分割开来，最终被各个击破。
同时，从叛乱很快被平息也可以看出，三总管之乱本身并不得人心，没有得到官僚阶层和普通百姓的大力支持。这也说明宇文赟的暴政使得北周皇室丧失了号召力和凝聚力，没有人再愿意为这个政权卖命了。
通过此次快速平叛，杨坚充分展示了出众的政治智慧，除了听从李德林的建议，任命高颎为监军外，很重要的一点，是争取了一个关键人物的支持，此人便是并州总管李穆。李穆是西魏大将军李远的弟弟，因为在战场上救过宇文泰一命，颇受重用。后来李远家族被宇文护铲除，李穆受到牵连，被贬为庶民，宇文护倒台后，他又重新获得重用。
说李穆关键，是因为并州的战略位置太重要了，处于杨坚和尉迟迥的中间地带，李穆的选择对双方都很要命。如果站到尉迟迥一边，会直接威胁到长安的安全，如果归附杨坚，则会形成一道有力的屏障。同时，李穆又是北周的元老，如果能够得到他的支持，无疑会树立一个很好的榜样，直接影响众多北周朝臣的取向。
杨坚和尉迟迥都清楚地看到了这一点，起兵前尉迟迥特地派人联络李穆，邀其一起反叛，李穆的儿子李士荣也劝父亲支持尉迟迥，这搞得李穆“颇怀犹豫”，有些举棋不定。
杨坚也赶忙派柳裘和李穆的第十子李浑前去做思想工作，柳裘口才很好，是有名的说客。他见到李穆后，动之以情，晓之以理，分析利害得失，说得头头是道，再加上李浑在旁边帮腔，最终使得李穆下定决心，支持杨坚。他说：“周德既衰，愚智共悉。天时若此，吾岂能违天。”周朝的德行已经衰微，不管是糊涂人、聪明人，都能看到这一点。天命如果是这样，我怎能违背？
李穆不仅嘴上说，更有实际行动，将镶有十三道玉环的金带、象征天子的服饰送给杨坚，并派儿子李浑进京，将一个熨斗呈上，熨斗有“熨安天下”的意思，希望杨坚执掌权威以安抚平定天下。李穆这样做看上去有些大逆不道，毕竟杨坚还是北周的大臣，不过，杨坚对李穆一系列表忠心的行为感到很满意。李穆归附杨坚后，随即派军队攻打叛军，捉获了尉迟迥的长子朔州总管尉迟谊，并转送长安。
平定这场叛乱对杨坚来说意义重大，不仅消除了外部威胁，权力变得更加稳固，先前有一些不服的大臣，看到杨坚摧枯拉朽般的胜利，便不敢再有二心，转而选择支持杨坚，这同时也加速了杨坚改朝换代的步伐。与此同时，这次平叛还有一个更重要的收获，便是发现不少人才，为今后的治国理政提供了坚实的储备，其中除了高颎和李德林外，还有能文能武的杨素和非常能打的宇文述。
杨素是正经的弘农杨氏之后，不像杨坚有冒牌之嫌，他从小便被家族长老看好，叔祖北魏尚书仆射杨宪经常对子孙说：“处道当逸群绝伦，非常之器，非汝曹所逮也。”就是说杨素不是一般的人，他日一定出类拔萃，无与伦比，不是你们赶得上的。言外之意是整个家族最大的希望便是杨素了。
杨素后来的表现远超叔祖对他的期许，他勤奋好学，年纪轻轻便在文学、书法上均有造诣，而且长得很帅，史书称其“研精不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表”。
由于才华出众，杨素受到了宇文护的重用，先是担任中外记室，后转礼曹，加大都督。宇文护倒台后，杨素也受到了牵连。此前，他的父亲杨敷在与北齐作战中兵败被俘，后来被杀害于邺城，但没有受到北周的追封。杨素此时为父亲喊冤，更加激怒了北周武帝宇文邕，下令诛杀杨素，没想到杨素毫无惧色，高声喊道：“臣事无道天子，死其分也！”就是说侍奉你这样无道的昏君，死是理所应当的。宇文邕不仅没有愤怒，反而对杨素刮目相看，赦其无罪，并追赠其父为大将军，谥号“忠壮”，拜杨素为车骑大将军、仪同三司。
宇文邕令杨素起草诏书，杨素下笔成章，文辞华丽。宇文邕称赞道：“善自勉之，勿忧不富贵。”意为好好努力，不愁以后没有富贵。换作其他臣子，面对皇上的赞扬和鞭策，一定会感激涕零，顺带还会表一下忠心。没想到，杨素没有任何表示，反而说道：“臣只怕富贵来逼臣，臣却无心取富贵。”
杨素确实够牛气，不过他有牛的资本，因为杨素是个“全才”，不仅笔杆子厉害，打仗更是一把好手。杨素用兵和别人不一样，喜欢以敌之长击敌之长，更喜欢在敌人最擅长的场地击败对手。他指挥作战还有个与众不同的习惯：“……先以数百人赴敌陷阵，不能而还却者悉斩之。复进以数百人，期必陷阵而止。是以士皆必死，前无坚敌。”总是派数百精兵冲击敌军阵营，若不能破阵，退还者全部斩首，如此反复，一直到最终破阵为止。因此，其麾下的将士人人奋勇争先，所向无敌。
由此看来，相貌英俊的杨素并非一个文弱书生，而是一个杀人不眨眼的狠角色。在他看来，打仗不是玩游戏，“狭路相逢勇者胜”，谁有杀气和必胜的决心，谁就能笑到最后，正是由于严格治军，杨素才屡立军功。
杨坚上台后，杨素看清大势，主动投到杨坚门下。三总管之乱中，他领命攻打占据虎牢的荥州刺史宇文胄，大获全胜，将宇文胄斩杀，因功进位柱国，封清河郡公。
杨坚发现的另一位悍将是宇文述，他是北周上柱国宇文盛的儿子，祖上原本是宇文家族的奴仆，由于宇文盛屡立军功，后来晋升为北周的上柱国。老子英雄儿好汉，宇文述也很能打，而且脑子很好使，史书上说他“恭谨沉密”，此次平叛，宇文述冲锋陷阵，俘敌甚众，被破格拜上柱国，晋爵褒国公。
叛乱平定，杨坚的地位更加稳固，朝廷内几乎没有人可以向他发出挑战，困在长安的几位王爷却越来越焦虑，不在沉默中爆发，就只能等死，于是，他们终于要出手了。