隋文帝在文治武功中取得了丰功伟绩，不过，长期以来有一件非常重要的事情让他颇感烦恼，便是太子的问题。
按说这本来不是什么问题，因为早在开皇元年(581年)二月二十七日，隋文帝登基后第三天，便册立长子杨勇为皇太子。杨勇是隋文帝和独孤皇后的第一个儿子，后来独孤皇后又生了四个儿子，次子杨广，封为晋王；老三杨俊，封为秦王；老四杨秀，封为蜀王；最小的儿子杨谅，封为汉王。作为一个皇帝，五个儿子都是皇后一人所生，在古代历史上极为罕见，这和当年两人成亲时立下的誓言有关，《隋书》里说：“高祖与后相得，誓无异生之子。”
隋文帝对此颇为得意，在他看来，五子都是同胞兄弟能够预防数子夺嫡、兄弟反目的危险，他曾经说过：“前世天子，溺于嬖幸，嫡庶分争，遂有废立，或至亡国；朕旁无姬侍，五子同母，可谓真兄弟也，岂有此忧邪！”前朝的皇帝对所宠幸的姬妾极为溺爱，出现了嫡子、庶子之争，也就有了废立之举，有的因此而亡国。我没有别的姬妾，五个儿子是同一个母亲，可以说是真正的兄弟，难道我还会有这样的忧虑吗？不过，历史的发展进程着实打了这位超级自信的帝王的脸，不仅没有避免夺嫡之争，而且五个儿子没有一个能够寿终正寝。
杨勇最初是个文艺青年，《隋书》中说：“勇颇好学，解属词赋，性宽仁和厚，率意任情，无矫饰之行。”他身边聚拢的多是一些读书人。隋文帝对这位接班人非常重视，注重在实践中培养他治国理政的能力，“军国政事及尚书奏死罪已下，皆令勇参决之”。杨勇起初的表现还算不错，当时关中的百姓，要么是种地的农民，要么是打仗的军人，几乎没有商人。但山东各地手工业和商业发达，百姓从事各行各业的都有，隋文帝对此看不惯，想着将这些人迁到北方，务农或当兵。
杨勇上书谏说：“窃以导俗当渐，非可顿革，恋土怀旧，民之本情，波迸流离，盖不获已。有齐之末，主暗时昏，周平东夏，继以威虐，民不堪命，致有逃亡，非厌家乡，愿为羁旅。加以去年三方逆乱，赖陛下仁圣，区宇肃清，锋刃虽屏，疮痍未复。若假以数岁，沐浴皇风，逃窜之徒，自然归本。虽北夷猖獗，尝犯边烽，今城镇峻峙，所在严固，何待迁配，以致劳扰。臣以庸虚，谬当储贰，寸诚管见，辄以尘闻。”这段话的核心意思是移风易俗不能操之过急，王朝初立，内忧外患，如此大规模地强制人口迁徙，很容易闹出乱子。隋文帝对于这份进谏的态度是“上览而嘉之，遂寝其事”，觉得杨勇说得很有道理，完全采纳了他的建议。
如果按照这样的情形发展下去，隋文帝将来驾崩了，太子杨勇定会顺利接班，成为大隋王朝的第二位帝王。但事与愿违，杨勇渐渐失宠，距离皇帝之位越来越远，最终丢掉了太子之位。
隋文帝最早对杨勇产生不满是因为一件蜀铠，就是从蜀地运来的一件铠甲，杨勇令人用金银装饰，这让素来以节俭著称的隋文帝很不高兴，担心杨勇将来会奢靡腐化。为此把他召来，好好教训了一番，话说得很重：“我闻天道无亲，唯德是与，历观前代帝王，未有奢华而得长久者。汝当储后，若不上称天心，下合人意，何以承宗庙之重，居兆民之上？”我听说上天不偏护、亲近任何人，只恩赐有德行的人。纵观历代帝王，没有追求奢侈豪华而能长久享有天下的。你作为接班人，如果不上顺天意，下合民心，怎么担当祖宗重托，作为百姓的君王？
隋文帝为了让杨勇深刻认识到自己的错误，他现身说法道：“吾昔衣服，各留一物，时复看以自警戒。又拟分赐汝兄弟。恐汝以今日皇太子之心，忘昔时之事，故令高颎赐汝我旧所带刀子一枚，并菹酱一合，汝昔作上士时所常食如此，若存忆前事，应知我心。”我从前的衣服，每种各保存一件，你要常常观看，用来自我告诫。有打算分别赏赐你的兄弟们，又担心你现在作为皇太子，忘记了从前的事情。所以让高颎赐给你我从前所佩带的刀子一把，以及一盒菹酱(一种食物)。你当年担任上士，经常吃的就是它。如果你还记得从前的事情，就应该明白我的心。
按说杨勇应该吃一堑长一智，谨小慎微。遗憾的是，过了一段时间，他就将父皇的话抛在了脑后，捅出了更大的娄子。这一年冬至，百官朝见完隋文帝，接着又去朝见杨勇，按照惯例，杨勇应该谦辞百官朝贺，但杨勇却很高兴地接受了他们的朝见，排场搞得很大，让乐队演奏乐曲，自己穿着礼服接受百官跪拜。
隋文帝得知此事后大怒，质问朝臣说：“近闻至节，内外百官相率朝东宫，是何礼也？”太常少卿辛亶站出来答道：“于东宫是贺，不得言朝。”东宫应该只能说贺喜，而不能说朝拜。他的话给隋文帝提供了炮弹，隋文帝义正词严地说：“改节称贺，正可三数十人，逐情各去。何因有司征召，一朝普集，太子法服设乐以待之？东宫如此，殊乖礼制。”既然是贺，三三两两去即可，为何搞成了有组织的行动，太子穿着礼服奏着乐，完全违背了礼制。
隋文帝于是下诏：“礼有等差，君臣不杂。爰自近代，圣教渐亏，俯仰逐情，因循成俗。皇太子虽居上嗣，义兼臣子，而诸方岳牧，正冬朝贺，任土作贡，别上东宫，事非典则，宜悉停断。”意思是说太子虽然是储君，但说到底还是一个臣子，而大臣却像对皇帝一样去朝见他，居心叵测，这样不合礼数的事情，以后不能再办了。
看得出，隋文帝对此火气很大，这不奇怪，历朝历代皇帝和太子的关系就很微妙，皇帝需要着力培养储君，以便将来能够顺利接班，但同时又怕太子太强了，形成自己的势力集团，使得皇权旁落。因此对于太子来讲，必须要拿捏好分寸，既不能太强也不能太弱，什么话能说，什么话不能说，什么事能做，什么事不能做，什么人能来往，什么人不能来往，心里都要有数。但在这方面，作为太子的杨勇显然是不合格的，他的心思不缜密，做事比较任性，一点都不顾及父母的感受，出现后来的结局也就不足为奇了。
太子杨勇被父皇骂了，才意识到自己犯冲了。各种道歉，各种认错，各种表忠心，表示要痛改前非。只可惜，隋文帝疑心已起。任凭杨勇怎么认错表忠心，都只能是“恩宠始衰，渐生疑阻”。
对于杨勇，更要命的是在渐渐失去父皇信任的同时，把母亲独孤皇后也得罪了，原因在于男女关系上。独孤皇后是一夫一妻制的坚定捍卫者，最讨厌男人朝三暮四，沾花惹草。隋文帝被看得死死的，不置嫔妾，六宫虚设。独孤皇后不仅把皇帝老公管得很严，只要听说哪位大臣纳妾，她都会冷嘲热讽，听说哪位大臣的小妾生了孩子，她就撺掇隋文帝处罚这位大臣。
杨勇却喜欢美色，府上有不少美女，还不到三十岁，光儿子就生了十个，且出自五六个女人，但和太子妃却没生下一男半女。看到儿子如此不专一，独孤皇后心中难免有些失望。太子府上美女多就算了，杨勇还不知道好好管理，导致府上的女人互相争斗，竟然让太子妃早早死去了。
“勇多内宠，昭训云氏，尤称嬖幸，礼匹于嫡。勇妃元氏无宠，尝遇心疾，二日而薨。”要知道，太子妃元氏是隋文帝亲自为杨勇挑选的，她的父亲是名将元孝矩，但杨勇并不喜欢，他宠爱一个叫作云昭训的女子。云昭训出身低微但姿色姣美，为杨勇生下三个儿子，受到的待遇甚至与正室不相上下，这让独孤皇后相当不满。元妃不得宠爱，气出了心病，很快就死了，杨勇随即让云昭训主持太子宫。两人的这一番操作，让独孤皇后认定元妃之死，是杨勇与云昭训合谋害的。
远在扬州担任总管的晋王杨广，在暗处静静地看着这一切，本来对太子之位已经没有想法的他，觉得属于自己的机会来到了。
杨广和大哥杨勇相比，完全是另一种存在，做事情小心谨慎，非常注重父母的喜好。父皇杨坚崇尚节俭，他便把王府里所有屏风、帐幕都换成了朴素的。他清楚母亲最恨男人花心，于是“弥自矫饰，唯与萧妃居处，后庭有子皆不育”，侍妾只是凑够数量，却只和萧妃起居在一起，从没有和其他女子生过孩子。每次父母来杨广的府上，见到府中的侍女不是很老就是很丑，不像其他王府都是光鲜亮丽的年轻姑娘。杨广还故意将府中所有乐器的弦弄断，上面落满灰尘也不擦，看到这些隋文帝和独孤皇后都感到很开心，认为这个儿子完全继承了他们身上的美德。
除了讨好父母亲，杨广也赢得了不少大臣的赞誉，“晋王来朝，车马侍从，皆为俭素，敬接朝臣，礼极卑屈，声名籍甚，冠于诸王”。杨广每次来朝，车马侍从都俭约朴素，对朝臣们都很恭敬，礼节极其谦卑，因此名声在隋文帝的儿子诸王里是最好的。杨广对父母派来的每一个使者更是奉为上宾，美酒佳肴伺候，临走还会送一些贵重礼物，这些人回京后都给杨广说好话，“无不称其仁孝”，这样的称赞声自然都传到了隋文帝和独孤皇后耳中。
杨广还有一件事被传为美谈。一次野外打猎，突然天降大雨，负责照料杨广起居的侍卫赶紧取来事先准备好的油布雨衣，给他披上，但杨广拒绝了，而且还说：“士卒皆沾湿，我独衣此乎！”意思就是说：士兵们都在淋雨，我能独自一人披雨衣避雨吗？于是他就和士卒一起淋雨。
除了私生活没有瑕疵，在治国理政方面，杨广同样显示出过人的一面。平陈后，江南发生叛乱，杨素虽然最终镇压了众多叛军，但江南的人心并没有归顺，表面趋于安定，但依然暗潮涌动。二十二岁的杨广临危受命，来江南收拢民心。
杨广入乡随俗，放低姿态，效法东晋著名宰相王导主动学习江南方言，很快便学会了一口流利的吴越方言。他还积极结交江南名士，一时间，百余名在江南很有影响力的才俊聚集于杨广的晋王府。
杨广和他们交流毫无障碍，因为他本身就有出众的文采。杨广在后来当上皇帝后曾夸口说，就是与士大夫比才学，自己也应该当皇帝。这话虽然有吹牛的成分，但不得不说，杨广的文学功底非常深厚，特别是诗写得很不错，《全隋诗》录存其诗四十多首，最著名的是《春江花月夜》：“暮江平不动，春花满正开。流波将月去，潮水带星来。夜露含花气，春潭漾月晖。汉水逢游女，湘川值两妃。”后来唐朝张若虚写了同题诗，但如果把两人的诗作相对比，可以清楚地看出张若虚描写春江花月夜景是受到了杨广的启示。
杨广可以驾驭各种题材的诗歌，另外一首《野望》展现了另一种完全不同的情绪，“寒鸦飞数点，流水绕孤村。斜阳欲落处，一望黯消魂”。全诗通过对寒鸦数点、流水绕村、斜阳欲落等典型意象的精准刻画，营造出一种孤寂而唯美的意境，堪称秋思诗中的极品佳作。宋朝词人秦观写过一首非常著名的《满庭芳》：“山抹微云，天连衰草，画角声断谯门。暂停征棹，聊共引离尊。多少蓬莱旧事，空回首、烟霭纷纷。斜阳外，寒鸦万点，流水绕孤村。销魂。当此际，香囊暗解，罗带轻分。谩赢得、青楼薄幸名存。此去何时见也？襟袖上、空惹啼痕。伤情处，高城望断，灯火已黄昏。”其中的“斜阳外，寒鸦万点，流水绕孤村”三句，同样有着隋炀帝的《野望》的影子。
杨广的诗文在文学和诗歌史上占有独特的地位。唐太宗李世民不得不发出这样的感慨：“文辞奥博，亦知是尧、舜，而非桀、纣。”现代文学家郑振铎也说：“杨广虽不是一个很高明的政治家，却是一位绝好的诗人。”
在赢得读书人人心的同时，杨广改变了教化策略，他看到了宣扬《五教》在江南根本行不通，而佛、道二教自东晋以来在江南已经兴盛了几百年，上至王公贵族，下至贩夫走卒，对社会各个阶层都有很大的影响力。于是，杨广转而从宗教方面做文章，以此聚拢人心。
杨广派使者到庐山请江南佛教界的头面人物智大师前往扬州传戒。不过，智大师起初并没有答应，但架不住杨广一次次派人去请，态度极为诚恳，终于勉强答应前往，但提出几个条件，包括不传授禅法、来去自由等，杨广二话不说，全部允诺。
开皇十一年(591年)十一月二十三日，智大师在扬州为杨广授菩萨戒，并为他取法名为“总持菩萨”。杨广遂以佛家弟子的身份迎合江南民众，这一招效果非常好，《剑桥中国隋唐史》对此记述：“晋王逐渐成为南方僧人和佛寺的虔诚和体贴的施主。他命令他的军队收集因侵陈和以后的内战而散落在各地的佛经；在扬州王府的建筑群中设立一个专门收藏精选的经籍的馆堂；其余的经卷经过手抄，增至九十万三千五百八十卷，然后被分发给扬州及其他各地有功德的佛寺。他在扬州建立四个道场，召集学识渊博的佛道两教教士充当一段时期王府的僧侣。智死后，他继续成为天台宗主要佛寺的正式施主。随着僧侣的南来北往，对南方僧人表示的特殊恩宠以及官方对信仰的赞助，反隋的情绪逐渐缓和，最后几乎化为乌有。”
杨广的怀柔政策取得了惊人的成功，十七城不战而降，三百多叛乱的中坚分子归顺大隋。江南的民怨逐步平复，步入了和谐稳定的新阶段。当代历史学家胡戟说：“得力于坐镇扬州的晋王思想文化领域中的工作，南方的形势终于稳定了下来。”这话没错，国家的统一不仅是版图上的，更重要的是人心的归顺和文化上的认同。杨广充分认识到了这一点。他尊重江南文化，不仅不遗余力地招揽江南的名士和各个领域的精英，还尽其所能地资助、参与各种文化事业，他的所为赢得了江南人士的交口赞誉，促使江南各大士族和上层人物很快就与隋朝取得文化意义上的认同。可以说，杨广在扬州总管任上十多年，对江南经济文化的发展以及南北方的融合做出了不少贡献。
杨广的才干在隋文帝诸子中确实无人能及，即使充斥着对杨广负面评价的《隋书》中，对此也不得不赞赏道：“炀帝爰在弱龄，早有令闻。南平吴会，北却匈奴，昆弟之中，独著声绩。”
杨广经略江南取得了很好的政绩，为他赢得了声誉，但是长期待在南方，却也是他夺嫡路上的一个短板。虽然他赢得了父母的欢心，仅仅靠这一点还不足以将杨勇拉下太子之位，他需要京城权力核心圈的重要人物能站出来为自己说话。当时朝中“四贵”中的苏威、虞庆则、杨雄都已失宠，受到重用的是高颎和杨素。
高颎是隋文帝身边第一红人，“朝臣莫与为比”。隋文帝对他一直都非常信任，平灭陈朝后，有人密报说高颎想造反，隋文帝根本不相信，等高颎回京后，隋文帝对他说：“你讨伐南陈后，有人说你谋反，朕已经杀了他。君臣之间亲密的关系，不是苍蝇之类的小人所能离间得了的。”虽然隋文帝这样说，但高颎听后感到很惶恐，回家后立即上表请求逊位，隋文帝对高颎识时务的表现很满意，对他更加信任。
后来，隋文帝很亲近的庞晃和卢贲也说高颎的坏话，“是后右卫将军庞晃及将军卢贲等，前后短颎于上。上怒之，皆被疏黜”，隋文帝不仅没有听从他们，反而大发雷霆，疏远并罢黜了他们。
高颎深知“木秀于林风必摧之”的道理，几次提出辞官让位，隋文帝都没有准许，他对高颎说：“你见识远大，谋略很深，出京参谋军事，帮助平定淮海一带；回京掌管禁军，我把你当作心腹。自我受禅登基以来，你常常参与机要，尽忠竭力，心迹俱尽。这是天降良臣于我，让你帮我，望你不要再费口舌辞职了。”
即便隋文帝对高颎如此看重，但还有些不知趣的朝臣上书弹劾高颎。开皇十年(590年)四月，尚书都事姜晔、楚州行参军李君才都上奏说：“水旱不调，罪由高颎。”请求废黜他。隋文帝照例没客气，将两人的官职一撸到底。隋文帝对高颎说：“你独孤公就像一面镜子，常被摩擦，越摩越亮。”叫他“独孤公”是因为高颎的父亲高宾当年投奔独孤信，深得独孤信的赏识，被赐姓独孤，隋文帝为了表示亲切，每次见到高颎都称呼他为“独孤公”。
所有针对高颎的弹劾都以失败告终，隋文帝对他“亲礼逾密”，杨坚巡幸并州，留高颎守京师。等杨坚还京，赏他缣帛五千匹，又赏他一座行宫，让他作庄舍。高颎的夫人贺拔氏卧病，隋文帝派人问候，同时前去探病的人也络绎不绝。杨坚还亲自到他府第去，赏钱币百万，布帛万匹，又赐他千里马。
话说回来，高颎对得住这份恩宠，自从隋文帝即位以后，不少急难险重的任务皆由高颎担纲完成。这样一个重量级的人物是否会帮忙呢？杨广分析觉得可能性极小，相反，不仅不会助力，反而有可能成为夺嫡路上的拦路虎。
杨广得出这样的判断是因为高颎为人方正，历来讲究按规矩办事，隋文帝曾经向他透露过有改立太子的意思，高颎的反应是长跪不起，劝说道：“长幼有序，怎么能废掉太子呢？”还有一个重要原因是高颎的儿子娶了太子杨勇的女儿，两人是儿女亲家，如果要帮，高颎注定只可能帮着杨勇。
杨广只好把目光转向另一个重要人物杨素身上。杨素此时已经取代了苏威，成为尚书左仆射，和高颎同掌朝政。虽然和高颎平起平坐，但在为人和理政方面，两人还是有不小的差距。“素性疏而辩，高下在心，朝臣之内，颇推高颎，敬牛弘，厚接薛道衡，视苏威蔑如也。自余朝贵，多被陵轹。其才艺风调，优于高颎，至于推诚体国，处物平当，有宰相识度，不如颎远矣。”
杨素这个人很清高，朝中能看得上的只有高颎、牛弘、薛道衡，连苏威也不放在眼里，至于其他大臣，只要和他有过节的，杨素都会百般刁难。因此，论才艺风调，杨素优于高颎，至于治理国家，则远不及高颎。
杨广觉得杨素有可能帮助自己，一方面杨素虽然地位很高，但还是在高颎之下，想要成为朝臣中的第一人，必须要扳倒高颎。另一方面杨素虽然看得上高颎，但两人因为一件事情而心生芥蒂。
开皇十三年(593年)正月，隋文帝巡游岐州，非常喜欢这里的风景，便决定在这里建造一座行宫，以供他和独孤皇后颐养天年，这个任务落到了杨素头上。
杨素对此高度重视，请来了主持大兴城建设的宇文恺作为总设计师，记室封德彝为土木监。为了讨好隋文帝，“夷山堙谷以立宫殿，崇台累榭，宛转相属”，规模搞得很大，档次也很高。这样一来，施工难度大幅增加。杨素又想让隋文帝早日见到宫殿落成，于是投入大量人力物力，“役使严急，丁夫多死，疲屯颠仆，推填坑坎，覆以土石，因而筑为平地。死者以万数”。由于不分昼夜赶工，民工大量死亡。因疲劳过度而晕倒的也都被推进坑里，用土石覆盖后填为平地。尽管死了许多人，但杨素并不在意，无论在战场还是在工地，他从来不把普通人的性命放在心上。
在杨素的严酷监督下，规模庞大的仁寿宫仅仅用了一年时间便竣工落成。在此之前，隋文帝派高颎为自己打前站，查看实情，高颎回来如实禀报说：“颇伤绮丽，大损人丁。”这搞得素来以节俭著称的隋文帝心里颇感不悦。
带着不满情绪的隋文帝亲自启程前往仁寿宫，当时正值酷暑，“役夫死者相次于道”，很多死去工匠的尸体来不及处理，杨素竟然下令全部烧掉，不留任何痕迹，这样的做法实在令人发指。隋文帝看到宫殿修得非常奢华，心里更感不快，大怒道：“杨素殚民力为离宫，为吾结怨天下。”为了修建仁寿宫，杨素呕心沥血，殚精竭虑，本来想着隋文帝会大加赞赏，压根儿没想到会得到这样的评价，顿时感到一肚子委屈。
看到隋文帝火气很大，杨素委屈之余，更感到惶恐不已，害怕追加处罚。如今他不再奢求论功行赏，只求不丢官就是了。如何才能平息隋文帝心中的怒火，杨素一时没有良策，只好求教于封德彝。
封德彝以智识过人著称，最初为杨素的幕僚。一次，杨素召见封德彝。封德彝失足落水，被救起后，换了件衣服便去见杨素，绝口不提落水之事。杨素知道后问他原因，封德彝道：“这是私事，没有什么可说的。”杨素对此非常惊异，后来将自己的堂妹嫁给封德彝。
封德彝头脑活，点子多，杨素经常和他商议事情，面对如此困局，封德彝为杨素出主意说：“公勿忧，俟皇后至，必有恩诏。”意思是杨素不要焦虑，等到独孤皇后来到后，便没事了。独孤皇后到了仁寿宫后，杨素第一时间前去拜见说：“帝王理当有一些行宫、别墅，现在天下太平，我们仅仅修造了这么一座宫殿，哪里就谈得上浪费了呢？”独孤皇后觉得也是，国家蒸蒸日上，修一座宫殿算不得什么。第二天，隋文帝召见杨素又说起此事，独孤皇后在旁边为杨素辩解：“杨公知道我们夫妇年老，没有地方娱乐，盛饰此宫，难道不是忠孝吗？”
隋文帝最听夫人的话，几乎言听计从，听独孤皇后这么一说，先前的怒气全消，不仅没有处罚杨素，反而赐钱百万，锦绢三千缎。从此，杨素更得隋文帝的信任。
度过危机的杨素，最感激的人毫无疑问便是封德彝，正是他的锦囊妙计，使自己巧妙脱身，因祸得福。在他看来，封德彝真是料事如神，对此封德彝解释说：“皇上素来节俭，因此见到宫殿必然发怒，但是他最听皇后的话，而皇后又是妇道人家，喜欢华丽的东西，皇后感到高兴，那么皇帝自然就不会为难。”杨素听罢心里为封德彝点赞，表示自愧不如。从此将封德彝视为心腹和头号智囊，经常与他谈论政务，还抚摸着自己的床说：“封郎必当据吾此座。”意为封德彝将来一定能坐到自己这样的高位。为此杨素极力向隋文帝推荐，封德彝被提升为内史舍人。
杨广思来想去，觉得杨素能够成为可依靠的力量，问题是如何才能与杨素接上头，让他来支持自己呢？杨广将这个烦恼告诉了心腹寿州刺史宇文述。宇文述为其出谋划策道：“皇太子失爱已久，令德不闻于天下。大王仁孝著称，才能盖世，数经将领，深有大功。主上之与内宫，咸所钟爱，四海之望，实归于大王。然废立者，国家之大事，处人父子骨肉之间，诚非易谋也。然能移主上者，唯杨素耳。素之谋者，唯其弟约。述雅知约，请朝京师，与约相见，共图废立。”这段话除了拍马屁的成分外，透露了两个重要的信息。一是杨素确实是一个关键人物，是少数几个能说动皇上的人，要想夺嫡成功，必须争取杨素的支持。二是杨素最听弟弟杨约的话，只有杨约能劝说杨素，而自己认识杨约，可以去京城，拉杨约下水，请他助一臂之力。
杨广闻之大喜，全权委托宇文述去办这件事。如何才能将杨约拉下水呢？当然要利用他的弱点，杨约最大的毛病就一个字——贪。只要有短板，自然有搞定他的办法。宇文述到京后，约杨约吃饭喝酒，席间拿出一些世上罕见的珍奇宝玩，杨约见后眼睛都放光了，宇文述提出玩赌博游戏，乘机将这些珍玩输给了杨约。这搞得杨约很不好意思，于是回请宇文述吃饭，宇文述觉得时机已经成熟，坦诚地告诉杨约说：“这些珍宝都是晋王杨广所赐，为的是让您开心。”
杨约大吃一惊，这才意识到事情没那么简单，问道：“何为者？”晋王为何如此大方？言外之意肯定有什么事，而且不是小事情。宇文述觉得是时候和盘托出了，他说：“夫守正履道，固人臣之常致，反经合义，亦达者之令图。自古贤人君子，莫不与时消息，以避祸患。公之兄弟，功名盖世，当途用事，有年岁矣。朝臣为足下家所屈辱者，可胜数哉！又储宫以所欲不行，每切齿于执政。公虽自结于人主，而欲危公者固亦多矣。主上一旦弃群臣，公亦何以取庇？今皇太子失爱于皇后，主上素有废黜之心，此公所知也。今若请立晋王，在贤兄之口耳。诚能因此时建大功，王必镌铭于骨髓，斯则去累卵之危，成太山之安也。”
这段话的大意是，人臣之道，固然在于恪守本分，但也要与时俱进。打破常规以符合新的道义，不能不说不是明智之举。你们兄弟二人身居高位多年，肯定得罪了一些人，朝中不少大臣对你们有意见。太子因为一些事情也对您兄长杨素感到不满，虽然皇上很宠信你们，但暗地想搞倒你们的大有人在。如果哪一天皇上驾崩了，你们的好日子恐怕就要到头了。有没有办法自救呢？当然有，如今太子不讨皇后喜欢，皇上也有废立之心，这都是公开的秘密了。如今晋王是否能够成为新太子，就在于您兄长杨素是否能劝得动皇上。如果大事能成，晋王自然不会忘记你们兄弟二人的扶立之功，这样做不仅能消除隐患，还可以找到新的靠山。
宇文述来之前想必做了充分的准备，这番话逻辑性极强，层层深入，严丝合缝，滴水不漏，更重要的是他完全站在杨家兄弟的角度，为他们设身处地着想。杨约被深深打动，转过头就去找哥哥杨素，将宇文述的意思透露给兄长。杨素听后也觉得有理，抛除平时和杨勇关系一般这个因素，从另一个角度来看，如果杨勇即位，作为儿女亲家的高颎会继续得到重用，而自己将来如何便不好说了，如果能改立杨广，作为扶其上位的头号功臣，想必能踢开高颎，成为朝臣中的第一人。
杨素于是对杨约说：“吾之智思，殊不及也，赖汝起予。”这句话是夸奖弟弟的，说自己的心思尚未考虑到这些，幸好有杨约提醒。杨约见兄长愿意参与此事，进一步建言道：“今皇后之言，上无不用，宜因机会，早自结托，则匪唯长保荣禄，传祚子孙，又晋王倾身礼士，声名日盛，躬履节俭，有主上之风，以约料之，必能安天下。兄若迟疑，一旦有变，令太子用事，恐祸至无日矣。”这席话有三层意思，一是如今皇上最听皇后的话，想要成功，必须把独孤皇后拉进来，让她去说服皇上。二是杨广的日常表现证明，他完全可以成为一个不错的皇帝，所以他登上帝位后，天下不会大乱。三是这种事情要做就早做，如果拖得太久，情况发生变化，等到太子杨勇掌了权，灾祸很可能降临。
杨素觉得杨约说得都对，特别是第一点最为重要，他在朝中深知独孤皇后的巨大影响力，她说什么，隋文帝就会听什么，所以独孤皇后的态度是关键之所在。不过，杨素虽然听说独孤皇后喜欢杨广，对太子杨勇颇有微词，但是否有废立太子的心思，他心里没有底。所以决定找机会去摸清楚独孤皇后内心的真实想法。
杨素很快就摸清了独孤皇后的底牌。有一次，他奉命入宫侍宴，有了与独孤皇后单独聊天的机会，杨素找准时机说了一句：“晋王孝悌恭俭，有类至尊。”晋王又孝顺又仁爱，而且恭敬而节俭，和当今皇上一个样。
不得不说，杨素是位高人，这话说得很巧妙，不露声色也不留痕迹，但却能够达到自己的目的。如果独孤皇后不接茬，说明还没有达到要考虑废立的程度，这样的话，自己必须要悬崖勒马，静观情势变化再说。但没想到，独孤皇后不仅有反应，而且还相当剧烈，史书上说：“皇后泣曰：‘公言是也。我儿大孝顺，每闻至尊及我遣内使到，必迎于境首。言及违离，未尝不泣。又其新妇亦大可怜，我使婢去，常与之同寝共食。’”
独孤皇后竟然哭着表示杨素说得太对了，杨广这个儿子是个大孝子，皇上或自己派人去，他都赶到扬州的边界上迎接。每次离开京城返回扬州时，没有一次不哭的。不仅这个儿子表现好，儿媳萧氏也很不错，我每次派婢女去，她都和婢女同寝共食。
如果独孤皇后的话说到这里，杨素还是无法探究她的真实想法，喜欢杨广并不代表着想要废黜杨勇，毕竟都是她的儿子。但独孤皇后接下来的一番话，让杨素吃了定心丸。她说：“岂若睍地伐共阿云相对而坐，终日酣宴，昵近小人，疑阻骨肉。我所以益怜阿摐者，常恐暗地杀之。”岂若睍地伐是杨勇的小名，阿摐是杨广的小名，独孤皇后意思是说杨勇每天和云昭训在一起，亲近小人，猜忌骨肉，这都不算什么，她担心杨勇有一天会因为嫉妒心而把弟弟杨广干掉。
独孤皇后的话已经接近于表白，把杨勇说得一无是处，言外之意，这样不孝不义之人怎么能够成为将来的皇上？杨素等的就是这样的话，看到独孤皇后立场坚定，他也赶紧表明自己的态度，义愤填膺地斥责太子杨勇。独孤皇后觉得找到了同盟军，从此将杨素视为心腹亲信。
杨勇并不傻，从父母的态度中，他意识到了问题的严重性，但是冰冻三尺非一日之寒，他找不到办法重新挽回父母的心，一种不祥甚至恐惧的情绪充溢心间。万般无奈之下，只好求助于术士，术士的破解之法是要杨勇从此过苦日子方能化解灾祸。于是，他盖了几间简陋的房子，里面铺上草席，杨勇穿着素衣而眠。不过，这样的表现实在太晚了，早知如此，何必当初呢？
太子的异常表现自然引起了隋文帝的注意，他派杨素去了解杨勇的精神状态，这给了杨素千载难逢的机会。杨勇听说父皇要派人到自己的府上，非常重视，穿戴整整齐齐恭候杨素，但左等右等就是看不到杨素的影子。原来杨素故意在太子府的周边徘徊不入，目的是为了激怒杨勇。杨勇果然有些急了，毕竟自己是太子，竟然被如此怠慢，就在杨勇肾上腺素上升时，杨素来了，杨勇的态度可想而知。
杨素回去向隋文帝汇报说：“臣见太子面露怨恨之色，恐有不测，望陛下严加戒备。”第一句话没错，但却是杨素给逼的，后一句杜撰的有些危言耸听。只是已经对太子颇感失望的隋文帝却听了进去，随后采取了一个重要的措施，便是弱化东宫太子的护卫，隋文帝将东宫原来比较强健的卫士调去了宫城，留下的都是一些老弱病残之人。
高颎此时站出来为太子说话了，表示这样做使得保护太子的侍卫力量太弱了。隋文帝对此相当不快说：“我有时候出巡，需要健壮卫士的护卫，太子在东宫培育他的德行，左右要什么勇士？”隋文帝认为高颎碍于儿女亲家的关系，总是站在太子一边帮他说话，自己最信任的朝臣现在和太子穿一条裤子，保不齐两人之间还有什么不可告人的秘密，从此对高颎有了提防之心。
高颎不仅惹得隋文帝不开心，更重要的是，在此之前他还得罪了独孤皇后。事情的起因是高颎的夫人去世，独孤皇后对隋文帝说：“高仆射老矣，而丧夫人，陛下何能不为之娶？”让隋文帝帮着高颎再娶一个妻子，好照应他的老年生活。独孤皇后完全是出于好心，隋文帝欣然同意，将此事告诉了高颎，没想到高颎拒绝了，给出的理由是：“臣今已老，退朝之后，唯斋居读佛经而已。虽陛下垂哀之深，至于纳室，非臣所愿。”说自己年老体弱，退朝回家只是吃斋念佛而已。虽然陛下对我很厚爱，甚至想帮我纳妻，但这不是我的意愿。
既然高颎不愿意，而且理由也很充分，隋文帝于是打消了这个念头。但万万没想到，没过多久，高颎的爱妾竟然给她生了一个男孩。这可把独孤皇后气坏了，她最恨男人纳妾，高颎不仅有小妾，还生了儿子。更让人无法容忍的是，高颎在皇上面前口口声声说要清心寡欲，为此还谢绝了皇上和自己的好意，但事实上完全不是那么回事，简直就是一个“两面派”。
隋文帝听说高颎晚年得子本来感到很高兴，但看到独孤皇后神情不对，便问缘故，独孤皇后说：“始陛下欲为颎娶，颎心存爱妾，面欺陛下。今其诈已见，陛下安得信之！”陛下起初想为高颎娶妻，他却当面欺骗陛下。现在他的谎话已显现，陛下怎能再信任他？隋文帝想想皇后说得对，由小识大，高颎确实是当面一套背后一套，“上由是疏颎”，从此开始疏远高颎。
独孤皇后对高颎不满并非因为这一件事，在此之前，还有一事搞得独孤皇后很不爽。独孤皇后对皇帝老公看得很紧，不允许他亲近其他女人。不过，百密难免一疏，隋文帝有次到仁寿宫，无意间发现一个宫女长得非常漂亮，惊为天仙，一问才知道此女是当年挑头叛乱的尉迟迥的孙女，尉迟迥起兵失败后，她被没收入宫当奴。隋文帝荷尔蒙上头，破戒临幸了这个宫女，此后频繁让尉迟氏侍寝。世上没有不透风的墙，这件事很快就被独孤皇后知道了，她怒不可遏，趁隋文帝上朝的时候，痛下杀手，将尉迟氏害死。
隋文帝下朝后得知噩耗，愤怒至极，堂堂大隋王朝的皇帝竟然连自己心爱的女人都无法保护，他感到很是窝囊。再想起这些年来，独孤皇后对自己的严格管束，所有的委屈一起涌上心头，但是又对独孤皇后没有什么办法，一气之下，离宫出走。史书上记载：“单骑从苑中而出，不由径路，入山谷间二十余里。”隋文帝直接骑着马冲出皇宫，慌不择路地跑进了山中，一直跑了二十多里。
皇帝居然跑了，所有人都傻眼了，两位宰相高颎和杨素赶紧上马追赶，追上之后拉住隋文帝的马头，苦苦劝谏。隋文帝长叹一声说：“吾贵为天子，而不得自由！”自己虽然贵为天子，却连一点自由都没有。要知道皇帝本就该有很多妃子，而为了独孤皇后，已经做了最大的让步，从来没有让任何一位妃子怀孕生子，也从来没有独宠过任何一个妃子，好不容易真心喜欢上了一个女子，最终还被独孤皇后害死了，这对于一个男人来说是莫大的屈辱，何况还是一位九五之尊的皇帝。
高颎赶紧劝道：“陛下岂以一妇人而轻天下！”劝说隋文帝为了一个女人而抛弃天下，实在不应该。
隋文帝渐渐冷静下来，三人在山谷中待了很长时间，隋文帝觉得无路可去，到了半夜，同意回宫。“后流涕拜谢，颎、素等和解之，因置酒极欢”，独孤皇后泪流满面，哭着道歉，高颎、杨素等纷纷劝和，最后隋文帝的气也消了，摆下酒席，把酒言欢，这件事就算翻篇了。
人家皇帝夫妇和好如初，但高颎却因为说了一句话惹上了麻烦，独孤皇后认为高颎说的“一妇人”是指自己，言语间充满轻蔑之意。要知道，隋文帝和独孤皇后当时并称为“二圣”，地位非常高，但在高颎眼中自己不过只是一个普通妇人，到底是何居心，更何况高颎还是独孤皇后推荐给隋文帝的，如今却对自己如此无礼。
高颎确实够冤枉的，他所说的妇人很有可能是尉迟氏。没想到，给皇帝夫妇劝架把自己劝到了独孤皇后的对立面，再加上小妾生子的事情，使得独孤皇后对他的负面印象已经无法挽回。更关键的是，在废立太子的问题上，高颎一直站在杨勇这边，又与独孤皇后的想法相左。独孤皇后看到隋文帝开始疏远高颎，觉得机会来了，心里想着彻底扳倒他。
开皇十八年(598年)，高句丽侵扰辽东，隋文帝命汉王杨谅为元帅，高颎为元帅长史，率大军征伐。但对于这次远征，高颎持反对意见，他认为行军路线过长，后勤保障非常困难，如粮草供给不上很难打胜仗，隋文帝并没有听从他的意见，执意发兵远征。
后来的结果和高颎预料的完全一样，隋军到了辽东后，遭遇长时间的降雨，导致河流泛滥，再加上不服水土，导致非战斗减员非常严重，最后只能撤兵。
这次无功而返本来是因为客观原因，和高颎的指挥没有任何关系。不过在独孤皇后看来，这是扳倒高颎的一个绝佳机会。她对隋文帝说：“颎初不欲行，陛下强遣之，妾固知其无功矣！”高颎当初不愿意出征，陛下勉强他才动身，当时我就知道他会无功而返。独孤皇后完全是事后诸葛亮，将失利的屎盆子扣在了高颎脑袋上，好像前线没得胜是高颎在中间搞鬼似地。
此次出征，隋文帝虽然让汉王杨谅挂帅，但觉得他年纪小，把军权全部交给了高颎。高颎深感责任重大，兢兢业业。杨谅对行军打仗不在行，但却喜欢指手画脚，对他提出的意见，高颎大多没有采纳，这引起了杨谅的严重不满。班师回京后，杨谅向母亲独孤皇后哭诉说：“孩儿真是幸运，没有被高颎杀掉。”独孤皇后听后如获至宝，将杨谅的话转述给隋文帝，隋文帝非常生气，高颎竟然欺负到自己儿子头上，照此下去，必将成为一个无法无天的权臣。
形势对高颎越来越不利，关于他的谣言接踵而来。高颎奉诏发兵攻击突厥，仗打到一半，他派使者回京请求派援军，这时候有人说：“高颎打算叛变”，就在隋文帝半信半疑时，仗打完了，高颎大获全胜，凯旋而归，这个谣言不攻自破。
但接下来的一个谣言却终于将高颎拉下了马。有人告发上柱国王世积密谋造反，王世积是高颎举荐的，在被关押审讯期间，他供认说所有宫中的事情，都是高颎透露给他的，这让隋文帝大为吃惊，下令彻查。调查的结果是“颎及左右卫大将军元旻、元胄，并与世积交通，受其名马之赠”，高颎和元旻、元胄与王世积交往甚密，而且还收受了王世积所赠的良马。
最后的处理结果是王世积被诛杀，罢黜了元旻、元胄的官职，至于高颎，被免掉了上柱国、左仆射的官职。高颎在朝中的威望很高，上柱国贺若弼、吴州总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等人都上奏申明高颎无罪。隋文帝存心要除高颎，见众多重臣出来说情，更加愤怒，下令将为高颎申辩的人都交付执法官吏问罪。刑部尚书薛胄依据刑律条文为高颎辩解，竟被“械系”，被戴上了刑具。这样一来，百官就没有人再敢为高颎求情了。高颎被罢免了官职，以齐国公归家闲居。
高颎的倒霉日子还没有到头，虽然被罢了相，但是他身处高层多年，影响力很大，而且这次罢官也没有一撸到底，还保留了齐国公的爵位，不少大臣还寄望于他能东山再起。为了消除高颎的影响力，隋文帝和独孤皇后上演了一出“苦肉戏”。
高颎免职不久，隋文帝驾幸秦王杨俊的府第举办宴会，特意让人召唤高颎赴宴。有些日子没有见到皇帝的高颎看到隋文帝后，情不自胜，眼泪汪汪，独孤皇后表现得也很伤心，同样是泫然落泪。隋文帝对高颎说：“朕没有对不起你，是你辜负了朕。”转而对参加宴会的大臣说：“我于高颎，胜于儿子，虽或不见，常似目前。自其解落，瞑然忘之，如本无高颎。人臣不可以身要君，自云第一也。”我待高颎，比对我儿子还好。虽然有时看不到他，但他好像就在我眼前一样。自从他离职后，我一点都不记得他了，好像根本就没有高颎一样，作为大臣的决不能自恃有功要挟君主，自认为是天下第一，一旦这样可就万劫不复了。
隋文帝说这样的话，意思再明白不过，便是要告诉群臣高颎已经成为一个弃子，不会再有重新崛起的机会。既然皇上都这样说了，头脑灵活的便知道该如何做，开始落井下石。最早揭发高颎的是他身边的人，齐国公府上的总管说高颎的儿子高仁表私下对父亲说：“司马仲达初托疾不朝，遂有天下，公今遇此，焉知非福？”过去司马懿也曾经假装病痛，不去上朝，但后来却篡夺了曹家的天下，所以父亲您贬官在家中，未尝不是一件好事。
高仁表说这样的话，无疑是为了安慰父亲，但用的这个例子却大有问题。司马懿装病骗过了曹操，后来他的子孙篡夺了曹魏天下建立了西晋，高仁表如此说好像想效仿司马懿父子，以退为进，图谋篡位。隋文帝听后非常生气，原来高家父子有想篡权的想法，简直大逆不道，便下令拘捕高颎，关入内史省的监狱严加审讯。
听说高颎被抓，举报他的人更多了。有人举报说高颎曾经和一个和尚有不正当交往。这位和尚对高颎说：“明年有大丧。”意为明年皇帝要死。还有人举报有位尼姑对高颎表示：“十七年、十八年，皇帝有大厄，十九年不可过。”开皇十七年、十八年皇帝会遭大难，到十九年必然会死。知人知面不知心，原来高颎在暗地里一直诅咒皇上早日死掉，从而效仿司马家族篡权谋位。
当然，这些举报大多数都是子虚乌有，但怒火中烧的隋文帝已经顾不了那么多了，他对群臣说道：“帝王岂可力求！孔子以大圣之才，作法垂世，宁不欲大位邪？天命不可耳。颎与子言，自比晋帝，此何心乎？”皇帝之位难道是可以求得吗？孔圣人有大圣之才，不也是不能得天下。高颎和他儿子的谈话自比西晋宣帝司马懿，居心何在？有关部门请求杀高颎。隋文帝说：“去年杀虞庆则，现在又杀王世积，如再杀高颎，天下人会怎么说我？”于是除掉高颎齐国公的爵位，让他做回平民。
隋文帝所说的虞庆则曾经是他最为器重的重臣之一，一人身兼三大要职，与高颎、苏威、杨雄并列为“四贵”，一时间风光无限。但为何掉脑袋了呢？冰冻三尺非一日之寒，这还要从虞庆则与长孙晟出使突厥沙钵略可汗的王庭说起，这次任务完成得不错，迫使沙钵略服软，称臣朝贡。但有件事虞庆则却违背了隋文帝的意思。出使之前，隋文帝曾对他说：“我要存立突厥，他们要送马给你，你可以接受三五匹。”结果，沙钵略可汗对虞庆则赠马千匹，虞庆则把隋文帝的话抛在脑后，不仅欣然接受，还娶了沙钵略可汗的女儿。这让隋文帝很不高兴，但看到他顺利完成使命的份上，暂时忍了。
平陈之后，隋文帝到晋王府设酒宴招待群臣。高颎等大臣为隋文帝举杯祝酒，隋文帝说：“高颎平定江南，虞庆则降服突厥，功劳都非常大。”这时坐在一旁的杨素一听隋文帝没有表扬自己，心里感觉不太舒服，说：“都是因为皇帝的威德所致的结果。”意思是说高颎、虞庆则不算什么，都是皇上的功劳，既踩了高颎、虞庆则，又抬高了皇上。高颎情商高，在旁随声附和，可是虞庆则不高兴了，马上怼了一句：“杨素前番出兵武牢、硖石，如果不是皇帝的威德，也没有克敌的可能。”杨素也不是吃素的，随即两人当着皇帝的面打起了口水战。好好的一场庆功宴，被虞庆则闹成了揭发大会。御史想要弹劾他们，隋文帝说：“今天以计议功劳为乐事，不宜弹劾。”虽然和了稀泥，但隋文帝对虞庆则的不满又增加了。
最终将虞庆则送上断头台的是他的小舅子赵什柱。开皇十七年(597年)，岭南发生叛乱，隋文帝和群臣讨论派谁去平叛，诸将争相请战，唯独虞庆则保持沉默。隋文帝很不满意，对请求统兵出征的其他大臣都没答应，就等着虞庆则开口，可是左等右等，虞庆则一直不开口。隋文帝只好主动对虞庆则说：“位居宰相，爵乃上公，国家有贼，遂无行意，何也？”你官居宰相，爵位是上公，国家有贼人作乱，却没有出征的打算，这是为什么？虞庆则听到隋文帝的语气，知道皇帝生气了，所以赶紧下跪，表示愿意率军去平乱。
隋文帝为什么不让其他人前往，偏偏就指定由虞庆则出征呢？这是因为赵什柱在背后搞鬼。他的这位小舅子之所以如此做，是因为他暗中与虞庆则的爱妾私通，经常担心事发，于是想着法地把虞庆则往死里整。他觉得这次岭南平叛是个机会，于是大造舆论，四处宣布谣言，说虞庆则对朝廷不忠，一万个不愿意领兵出征。这句话传入了隋文帝的耳中，于是便盯上了虞庆则，而虞庆则在朝堂上的表现，印证了外界所传，隋文帝因此感到非常不满。以前，朝臣大将出征，皇帝都要设宴送行，赏赐礼物而后出发。等到虞庆则南征向隋文帝辞行时，隋文帝面露不悦之色，搞得虞庆则心情非常沉重。
虞庆则很快平定叛乱，回师途中路过潭州临桂镇，观察形势眺览山水后说：“此地确实险固，如果粮食充足，若有得力的人镇守，一定攻不下来。”这原本是随口一说，算是领军将帅的“职业病”，到哪里都喜欢察看地形。但说者无心，听者有意，随军出征的赵什柱赶忙向隋文帝禀告，说虞庆则想据潭州造反。隋文帝派人探查，派去的人回来禀报说：虞庆则确实带着大军在潭州驻扎。隋文帝本来就对虞庆则满脑子意见，害怕他生事，于是派人将虞庆则诛杀了。
虞庆则被杀，表面上看是赵什柱在背后使坏，其根本原因在于隋文帝晚年的猜忌心过重，虞庆则和高颎都成了牺牲品。
高颎对免职并没有感到过多的失落，他刚获任仆射时，母亲就告诫他说：“汝富贵至极，但有一斫头耳，尔其慎之！”你现在富贵已极，但不要忘了还有掉脑袋的危险，你可要处处小心谨慎！高颎一直记着母亲这句话，时常担心发生灾祸。现在虽然丢了官但得以保全性命，高颎不但没有怨恨反而很高兴。
高颎被贬，其实受到更大损失的是隋文帝，为什么这样说？因为高颎是整个隋朝最有才干的一个宰相，国子祭酒元善曾对隋文帝说：“杨素粗疏，苏威怯懦，元胄、元旻正似鸭耳，可以付社稷者，唯独高颎。”当时几个重臣中，杨素很粗疏，苏威很怯懦，元胄、元旻之流就好像鸭子一样随波逐流，可以倚重的只有高颎一人。隋文帝起初也认为元善说得很对，但在罢黜高颎后，隋文帝却狠狠地责备元善，最后搞得元善忧惧而死。后来唐太宗对此评价道：“高颎有经国大才，为隋文帝赞成霸业，知国政者二十余载，天下赖以康宁。文帝唯妇言是听，特令摈斥，及为炀帝所杀，刑政由是衰坏。”在李世民看来，高颎被贬成为隋朝由盛转衰的一个重要因素。
高颎告别政坛，意味着太子杨勇失去了最后一座靠山，今后的命运将更加凶险。杨广觉得时机已到，必须要抓住时机发力。此时正赶上他奉诏入京觐见，公务处理完毕后，在返回扬州之前，特意进宫和母亲话别。见到母后，杨广颇为伤感地说：“臣镇守有限，方违颜色，臣子之恋，实结于心。一辞阶闼，无由侍奉，拜见之期，杳然未日。”越说越难受，到最后竟然匍匐在地痛哭流涕，独孤皇后见状也跟着掉眼泪。
杨广觉得时机成熟，说道：“我性情见识愚笨低下，常常顾念兄弟间的感情，但不知道因为什么得罪了太子，他想要除掉我，我真害怕有一天被他毒死。”杨广完全是恶人先告状，但却引发了独孤皇后的强烈共鸣，因为她一直怀疑太子妃是被杨勇和云昭训毒死的，既然有第一次，就会有第二次。
独孤皇后愤然说道：“这个太子越来越不像话，我给他娶了元氏，他竟然不以夫妇之礼对待她，却无比宠爱小妾阿云，生下了那么多猎狗一样的儿子！元妃被毒死，我不能为她洗刷冤屈。如今他对你也生出这样的念头，我活着，他就敢这样，我死以后，你岂不是被他当作鱼肉一样宰割。每见到东宫连嫡子也没有，陛下千秋万世后，留下你们兄弟向阿云的儿子磕头问安，心里感到非常痛苦。”杨广听完母亲的话，哭得更厉害了。独孤皇后由此下定决心，一定要废掉杨勇的太子之位，改立杨广。
一场大戏已经就绪，只待一个导火索。开皇二十年(600年)九月，导火索终于被一个叫作姬威的人点燃了。
姬威本来是东宫的官员，但是被杨广暗地里派人收买，成了卧底。杨广觉得是时候起用这个潜伏者了，他派人告诉姬威说：“太子所犯的错误，皇上已经知道，你如果能抢先告发，定会大富大贵。”姬威接到指令，立即行动，上书隋文帝，说自己掌握了确切的证据，太子杨勇图谋造反。
由于姬威是杨勇身边的人，隋文帝接到密报，大为震惊。太子的一系列作为让他看不顺眼，独孤皇后也经常在他面前说杨勇的不是，如今身边人都举报他图谋不轨，这样的人不能再待在太子之位上了，隋文帝终于下了废立之心。
隋文帝认为废立太子是国之大事，需要得到群臣的支持。他当即从仁寿宫返回大兴城，召集群臣对他们说：“我新还京师，应开怀欢乐；不知何意，翻邑然愁苦！”回到京城本来是件高兴的事情，但不知为什么，不仅高兴不起来，反而感到非常愁苦。
面对隋文帝的发问，群臣不知道怎么回答，面面相觑，只有牛弘站出来说：“由臣等不称职，故至尊忧劳。”这显然不是隋文帝想要的答案，看到朝臣们都不接招，隋文帝转而对东宫的官员说：“仁寿宫去此不远，而令我每还京师，严备仗卫，如入敌国。我为下利，不解衣卧。昨夜欲近厕，故在后房恐有警急，还移就前殿，岂非尔辈欲坏我家国邪！”仁寿宫离这里不远，但是我每次返回京师都得严格准备仪仗保卫，就像进入敌国一样。我因为拉肚子，不敢脱衣服睡觉，昨天夜里要上厕所，因为在后边的房间恐怕有紧急之事，就返回前殿居住。难道不是你们这些人要危害我的家国吗？
隋文帝将矛头明确地指向了太子，这个时候终于可以打开天窗说亮话了，他下令把太子左庶子唐令则等几个人抓起来交付有关部门进行审讯，命令杨素将东宫的情况告诉朝臣。
杨素说了两件事：第一件是刘居士事件。刘居士是太子杨勇的手下，专门负责东宫宿卫，但同时他又是一个“黑社会”组织的头目，纠结一些同伙，为非作歹，欺男霸女，后来被隋文帝下诏处斩。隋文帝令杨素继续捉拿刘居士的党羽，当杨素请求太子予以协助时，太子却大发雷霆说：“居士党尽伏法，遣我何处穷讨？尔作右仆射，委寄不轻，自检校之，何关我事？”刘居士早就伏法了，还让我怎么处理，况且你是宰相，这种事应该由你负责，跟我有什么关系？
第二件事是太子杨勇曾说过：“若大事不遂，我先被诛。今作天子，竟乃令我不如诸弟。一事以上，不得自由。”意思是说，杨勇曾经表示当年隋文帝密谋篡位，如果没成功，作为长子的他首当其冲会被杀掉，如今父亲当了皇帝，竟然让弟弟骑在自己头上，简直欺人太甚。
杨素对朝臣所揭发的这两条罪状，听上去并不严重，无非是杨勇发发牢骚而已，根本够不上废立太子的标准。看到群臣对此无动于衷，隋文帝只好自己出面了，发表了长篇大论，说清楚为什么要废立太子。他表示独孤皇后曾劝自己废掉太子，但“我以布衣时所生，地复居长，望其渐改，隐忍至今”，考虑到杨勇是在自己还没有成为皇帝时所生，而且是嫡长子，希望他能改过自新，所以才一直忍到今天，但如今已经忍无可忍。
隋文帝接下来讲了几件让他无法容忍的事情：一是“勇尝指皇后侍儿谓人曰‘是皆我物’”，杨勇曾经指着皇后的侍女说，这以后都是我的。在父皇和母后都在世的时候，说这样的话，究竟是几个意思，所谓“此言几许异事”。二是太子妃离奇死亡，我怀疑是被人毒害，责备了太子几句，杨勇怀疑是太子妃的父亲告状，回怼说要杀了他，“此欲害我而迁怒耳”，杨勇这样做完全是为了威胁父皇。三是杨勇和云昭训生了儿子，我和皇后把他当作自己的孙子看待，想着帮助抚养，但没想到他们“自怀彼此，连遣来索”，认为我们不怀好意，接连派人要将孩子接回去。四是“且云定兴女，在外私合而生，想此由来，何必是其体胤！昔晋太子取屠家女，其儿即好屠割。今傥非类，便乱宗祏。我虽德惭尧、舜，终不以万姓付不肖子！”云定兴的女儿，是云定兴在外面私合而生，想到她的出身来历，怎么说必定是他的子女呢？以前晋太子娶了屠户的女儿，他的儿子就喜欢屠宰之事。如今他们不是咱们这一类人，会乱了宗嗣。我虽然德行不及尧舜，但终归不能把天下百姓交付给品行不端的儿子！
隋文帝最后做了总结陈词：“我恒畏其加害，如防大敌，今欲废之以安天下！”我一直担心杨勇会加害我，防范他如防大敌，现在打算将他废黜，使得天下得以永久安宁。
尽管隋文帝情绪很激动，但朝臣们听下来，觉得杨勇好像没有什么致命的问题，这四点大多是家长里短的事情，特别是第四点还有些八卦和推理的成分，以这样的理由废掉太子，实在有些牵强，难以让天下人心服。
左卫大将军元旻站出来劝阻说：“废立太子是一件大事，诏书一旦颁布，再想挽回就来不及了。谗言陷害，无所不入，希望陛下能明察。”这样的情形有些出乎隋文帝的意料，杨素上阵不行，他上阵还是难以服众，看来废黜杨勇并非如想象中那般容易，无奈之下，隋文帝只好使出撒手锏，让东宫的姬威出来指控自己的主人。
姬威等的就是这一天，他当众说了一些为人所不知的内幕，主要包括：一是太子多次说想要从樊川到散关，一并规定为游苑。还说：“从前汉武帝准备建造上林苑，东方朔规劝他，赏给东方朔百斤黄金，多么可笑。我实是没有黄金赏赐给你们的。如果有规谏的人，就该被斩除，不过杀死百把人，自然就永远清静了。”二是杨勇的亲信苏孝慈被解除职务，太子非常生气，动怒道：“大丈夫终会有一天扬眉吐气，这仇终身不忘，到时候一定要称心如意。”三是太子提出的一些需求被尚书省依照法规拒绝，杨勇大怒道：“宰相以下的官员，要杀一两个，让他们知道对我傲慢的代价。”四是太子在东宫兴建楼台歌榭，一年四季劳役不停歇，建起的亭殿，早上建造晚上又改了。五是杨勇常说：
“皇上责怪我有很多姬妾，没有嫡子，所生的都是庶子，可嫡庶那么重要吗？高纬、陈叔宝哪个不是嫡子？到头来又怎么样？”六是太子请人算卦，说自己父皇活不过开皇十八年，期限转眼就要到了。
根据姬威的陈述，太子杨勇是一个典型的不孝不义不忠之徒，这种人一旦当了皇帝，大概率会成为暴君，大臣不会再有好日子过，很可能面临着一场场腥风血雨。
姬威举报的不再是婆婆妈妈的帝王家事，而是凸显了杨勇恶劣的品性，以及对社稷和朝臣的现实危害性，所以杀伤力很大。杨勇此时已经失去了自辩的权利，只能任由姬威说什么是什么。隋文帝见状趁热打铁，流着泪说：“谁非父母生,乃至于此！”谁不是父母生的，没想到太子竟然凶恶到如此地步。并说：“朕近来读《齐书》，看到高欢放纵自己的儿子，非常气愤，怎么可以效仿这种人的坏做法呢？”
隋文帝和姬威一唱一和，这场“双簧戏”非常成功，听完姬威的陈述，又看到皇上如此动容，出来为太子说话的人越来越少。为了让群臣都闭嘴，隋文帝想了一招，便是收拾率先站出来为杨勇说话的元旻。
没过几天，司法部门向元旻发难了，弹劾他与太子有不正当的交往，证据是隋文帝在仁寿宫时，杨勇派人给元旻送了一封密信，信封写着“勿令人见”，这种见不得人的事情必有蹊跷，说不好是想密谋作乱。隋文帝装着恍然大悟，说：“我身在仁寿宫，一点点小事情，东宫就会知道，消息灵通比驿马还快，我一直觉得纳闷，原来是元旻搞的鬼。”
元旻的厄运来临了，他被逮捕入狱，革除一切军职。紧接着，隋文帝下令让杨素带人搜查东宫。搜了半天，发现了两个罪证。说来奇怪，所谓罪证并不是叛乱常用的刀剑盔甲，更没有密谋书信，一个是数千根槐树根，另一个是几斛艾草。
这两样东西好像和谋反没有关系，但它们有一个共同特征，都是打火的材料。当时打火的程序是先敲打燧石，有了火星后用艾草去引燃，然后再去点燃槐树根。
杨勇为何要在东宫储藏如此多的点火材料呢？这是因为有次杨勇见到一棵枯老的槐树，便问左右：“它还有什么用？”侍从表示可以用来烧火。当时卫士们也需要材料取火，杨勇觉得不能浪费，由是命人将槐树根加工后准备赐给手下，同时配套提供了许多艾草。谁承想，还没来得及发给手下，太子宫便被查抄了。
杨素看到院子里堆满这些东西，心里也感到纳闷，便找来内线姬威问个究竟，姬威给出的答案是太子别有用心，什么样的用心呢？他说：“皇上经常住在仁寿宫，太子养了一千匹马，曾经表示只要控制了仁寿宫的城门，皇上就会饿死。”就是说，杨勇囤积如此多的点火材料，是用来制作火把，想着趁夜突袭仁寿宫，把皇帝困死在里面。
不得不说，姬威为了有个投名状，已经不顾一切，张口就来。或许因为编得有些太离谱，杨素并不太相信，就此事诘问杨勇。杨勇简直不敢相信自己的耳朵，这样荒唐的理由居然也能编撰出来，他反问杨素说：“我听说你家有上万匹马，我身为太子，有一千匹，怎么就是要谋反呢？”这话问得杨素顿时哑口无言。
杨素不甘心，将东宫所有查抄的衣服器具、首饰珠宝等全部陈列出来，办了一个奢侈品展览会，请文武百官来参观，展示杨勇生活奢靡的罪证。隋文帝和独孤皇后多次派使者责问杨勇，但杨勇每次都为自己喊冤，表示不服。
杨勇当然会不服，说他图谋不轨，只是姬威的一面之词，没有任何实锤的证据，所谓的罪证都相当牵强，如果仔细梳理一下，甚至连牵强都谈不上。但他的亲爹亲娘，当今的皇上皇后铁了心地要废掉他，证据材料就不再重要了，所谓“欲加之罪何患无辞”。
即便如此，隋文帝还想让群臣们心服口服，既然现实中找不到证据，就只能求助于老天。在他的授意下，太史令进言说：“臣观天象，皇太子当废。”既然是老天爷的意思，群臣也就不好再说什么了。
开皇二十年(600年)十月九日，上演了隆重的废立太子仪式。隋文帝派人传见杨勇，杨勇见到使者，惊恐道：“得无杀我邪？”以为隋文帝要杀自己，使者表示没有性命之虞，但太子之位必须要废掉，让他好好配合表演。
隋文帝全副武装，集结禁军，登上武德殿，命皇室宗亲站在东边，文武百官站在西边。杨勇及其子女被引导至殿庭中央，隋文帝命内史侍郎薛道衡宣读诏书，废黜杨勇的太子之位，以及他子女的亲王和公主的封号。诏书中先说了太子之位的重要性，“太子之位，实为国本，苟非其人，不可虚立。自古储副，或有不才，长恶不悛，仍令守器，皆由情溺宠爱，失于至理，致使宗社倾亡，苍生涂地。由此言之，天下安危，系乎上嗣，大业传世，岂不重哉！”
然后给出了废黜杨勇的理由，“皇太子勇，地则居长，情所钟爱，初登大位，即建春宫，冀德业日新，隆兹负荷。而性识庸暗，仁孝无闻，昵近小人，委任奸佞，前后愆衅，难以具纪。但百姓者，天之百姓，朕恭天命，属当安育，虽欲爱子，实畏上灵，岂敢以不肖之子，而乱天下”。这段话大概的意思是说，皇太子杨勇是我的儿子，我当上皇帝就立他为太子，希望他典学有成，继承基业，可是他资质平庸，不仁不孝，亲近小人，宠信奸佞，其罪行数不胜数。百姓是上天的百姓，我恭奉天命为帝，应当爱护百姓。我虽然爱我的儿子，更畏惧上天和生灵，怎么能让这个不孝之子祸乱天下？
话虽然说得冠冕堂皇，还是没有什么可以拿得出手的证据。但事已至此，已经不再需要。杨勇虽然不甘，但也只能接受命运的安排，至少没有被杀头。于是磕头道：“我的尸首应该横躺在法场上，使将来的人警惕！如今，幸而获陛下哀怜，得以保全性命。”说罢，泪水潸然而下，染湿衣襟。无论宗亲还是百官，看到此情此景，黯然神伤，沉默不语。
隋文帝接着要收拾太子党羽，下令将元旻处斩。然后严厉指责东宫的官吏，没有人敢作声，只有太子洗马李纲站出来表达不同意见：“废立大事，今文武大臣皆知其不可，而莫肯发言，臣何敢畏死，不一为陛下别白言之乎！太子性本中人，可与为善，可与为恶。向使陛下择正人辅之，足以嗣守鸿基。今乃以唐令则为左庶子，邹文腾为家令，二人唯知以弦歌鹰犬娱悦太子，安得不至于是邪！此乃陛下之过，非太子之罪也。”意思是说陛下一直教导不力，所以太子成了这个样子。太子天赋平常，有贤明的人帮助就可以成才，让不贤的人影响就变坏了，怎么让弹琴唱歌打猎游玩的家伙成天在他身边？哪里只是太子的罪过呢？这是陛下的过错。
李纲的胆识实在过人，直接指出杨勇走到这一步，身为父亲的隋文帝难辞其咎。隋文帝神色惨然，过了半天才说：“李纲责备我，不是没有道理。但是你只知其一，不知其二。我挑选你为东宫臣僚，但杨勇不亲近信任你，就是换上正直的人又有什么用处呢？”李纲回答：“我之所以不为杨勇亲近信任，确实是有佞人在太子身边的缘故，陛下只要将这些小人斩首，更换贤能才学之士辅佐太子，怎么会知道我最后会被疏远和抛弃呢？”说来说去都是隋文帝的过失，隋文帝身边的人都替李纲心惊胆战。但事情却出现了大反转，此时正好尚书右丞空缺，隋文帝指着李纲说：“此人是很好的尚书右丞。”
虽然李纲直言而因祸得福，但大部分东宫官员都受到了严厉的处罚。左庶子唐令则和太子家令邹文腾、左卫率司马夏侯福、典膳监元淹、前吏部侍郎萧子宝、前主玺下士何竦一并斩首处死，他们的妻妾子孙都没入官府。车骑将军阎毗、东郡公崔君绰、游骑尉沈福宝特赦免死，各受杖刑一百，本人及其妻子儿女，家产田宅都没入官府。副将作大匠高龙叉、率更令晋文建、通直散骑侍郎元衡都被判罪令其自尽。而在废立太子中出了大力的杨素等受到了丰厚的赏赐。
在追查“太子党”中，令人意外的是，名将史万岁被杀了。史万岁一直以来为本部兵马抗击突厥有功而未获赏赐耿耿于怀，这背后其实也是杨素搞的鬼，他有些嫉妒史万岁，因此在隋文帝面前进谗言说：“突厥已经投降了，况且他们本来就不是入侵，而是撤退。”言外之意是史万岁坐享其成，没有什么功劳。隋文帝听了杨素的话，对大破突厥的史万岁部没有任何嘉奖。
史万岁数次上表陈述，但隋文帝都没有搭理。就在隋文帝为废立太子挠头的时候，史万岁再次奏表请功。这可把心情烦躁的隋文帝惹急了，问道：“史万岁在何处？”当时史万岁就在殿外候着，杨素为了激怒隋文帝，故意说：“史万岁拜访东宫去了。”隋文帝听后大怒，命人召来史万岁，不分青红皂白，下令将其乱棍打死。过了一会儿，冷静下来的隋文帝觉得有些过了，命人通知停止行刑，但一切都晚了，史万岁已经在殿堂上被活活打死。隋文帝事后下了一道诏书，说史万岁“怀诈要功，便是国贼”，以这样的罪名掩盖自己的过失。史万岁南征北战，立下了赫赫战功，就这样死于非命，他死之后，天下万民都为之惋惜。
这一年的十一月初三，晋王杨广被册立为太子，一场太子位置的争夺正式落下帷幕。
杨勇被废后，被软禁在东宫，由新太子杨广负责看管。杨勇还是无法接受这样的现实，屡屡要求面见父皇申冤，但杨广绝对不可能让杨勇见到隋文帝。杨勇爬到树上，面向皇宫的方向大声号叫，希望父亲能见自己一面。隋文帝听到叫声，便问杨广是什么情况，杨广回道：“杨勇已经心神丧失，被妖魔附体，魂魄都收不回来了。”隋文帝从此觉得这个儿子疯了，“上以为然，卒不得见”，因此杨勇再也没有机会见到父皇了。
隋文帝废立太子，无疑对整个王朝的命运产生了极大的影响，在唐太宗李世民看来，“逆乱之源，自此开矣”，就是说改立杨广为太子是隋朝二世而亡的祸根。
但就事论事，杨广能在大哥做了二十多年太子，名分早已确定的情况下逆袭成功，首先显示了他高超的政治斗争经验，这一点比杨勇强太多了。父母喜欢什么，杨广就做什么，而杨勇完全反其道而行之。
为了谋夺太子之位，杨广把自己包装成为一个才德皆备的优秀王子，不少人认为他是伪善，是个野心家，但他装的不是一天两天，而是几十年如一日，这不是常人所能做到的。
杨广成功，除了自身努力外，关键还找到了最给力的同盟军，宫里宫外都获得了强有力的支持。宫内是母亲独孤皇后，宫外是宰相杨素，他们通力合作，相互配合，最终将太子杨勇拉下了马。不过，两人帮助杨广的出发点并不一样，独孤皇后是因为对杨勇太过失望，同时受到了杨广的蒙蔽。而杨素完全是为了自身利益考虑，所以他显得更为卖劲儿，抹黑诬陷，无所不用其极。
虽然说整个废立过程充满着阴谋和谎言，但话说回来，隋文帝做出这样的抉择并非完全被杨广所欺瞒，放在当时的历史情境下，废杨勇立杨广并不完全是一件错事。主要原因是隋文帝五个儿子中，杨广无疑是最出类拔萃的，无论是个人素养还是理政能力，杨勇都远逊于二弟杨广。为了江山社稷长远，选择一个更为出色的皇子作为储君完全可以理解，毕竟手心手背都是肉，杨勇和杨广为一母所生，不存在嫡子庶子的问题，选立贤者似乎没有太多可以指责的。
但是，隋文帝忽视了这样做可能产生的巨大后遗症。首先造成了朝廷的分裂，杨勇做了二十多年的太子，在他周围聚集了相当数量的官员，而废立太子，致使不少有政治才华和节操的官员被罢黜，甚至死于非命，比如高颎。其次造成了一种很不好的风气，所谓“君子道消，小人道长”，支持长幼有序、不宜废立的大多是正人君子，讲究政治伦理，而支持杨广的则不少是投机分子，这些小人最终得志，就没有人再愿意讲究政治道德，完全奔着个人利益去了。最后给了其他皇子一个很不好的示范，太子之位可以通过阴谋诡计得到，难免会让皇子们心生觊觎之心，而杨广作为太子，也必须时刻提防各位弟弟，这使得皇子们之间的嫌隙越来越大。
当然，这些危害的后果不会马上显现。终于，杨广如愿以偿地成为大隋王朝的新太子，二十多年的隐忍总算迎来了收获季节。