太子杨勇安居东宫，喜欢歌舞美色，免不了有三五个媚臣出来大献殷勤。就是宠姬云氏的父亲云定兴，也经常搜罗一些奇珍异宝，献进东宫来取悦太子。左庶子裴政屡次劝谏太子，杨勇始终不听。裴政便对云定兴说：“大人这样做，为陛下所不悦。并且元妃突然过世，世人都误以为是大人的女儿云氏下的毒，大人最好立即引退，这样才能保全身家性命。”云定兴不以为然，并将裴政的话转告给太子。太子杨勇当即疏远裴政，调任他为襄州总管，改用唐令则为左庶子。唐令则擅长音乐，杨勇让他教导宫人，东宫自此弦歌不辍。右庶子刘行本责备唐令则说：“庶子的责任是以正道辅佐储君，你怎么能为了取悦太子，甘心沦为天下的罪人？”唐令则听后，也觉赧然，但为了讨好东宫，又不好改过。当时，还有一位直臣看不下去，站出来指责唐令则，怪他误导太子，说如果被隋主知道东宫歌舞达旦，太子也会被连累。不料，太子杨勇生气地说：“我想行乐，你别多事！”那位直臣自知话不投机，只好离开东宫。那位直臣是谁？他就是太子冼马李纲。后来，太子又与左卫率夏侯福扳手劲儿，刘行本等夏侯福出来，便训斥他说：“太子宽容，赐你颜色，你是什么人物，敢如此恣肆无礼？”随即将夏侯福抓了起来。太子杨勇又千方百计把夏侯福解救出来。
杨勇周围不是姬妾，便是幸臣，整天歌宴陶情，不顾后患。等到隋主打算废黜他的消息传到东宫，杨勇才着急起来。慌乱之下，他竟相信会占卜的王辅贤的话，在东宫设立平民村，想以此化解这场劫难。隋主听说太子杨勇滥用邪术，便让杨素去打探虚实。杨素站在晋王杨广那边，自然不会替杨勇说好话，在东宫转了一圈，便回去对隋主说：“太子杨勇满怀怨言，只怕他会谋反。”隋主半信半疑，后来经过独孤皇后派人侦察，他便相信了，当下便派人监查东宫的动静。宫廷内外都知道太子杨勇即将被废黜，个个见风使舵，落井投石。晋王杨广更是迫不及待地盼望佳音，他派人暗中贿赂太子的宠臣姬威。自此，太子只要一有过失，姬威便密告杨素。于是，宫廷内外喧声诽谤，说得太子杨勇无恶不作，自古罕见。
听着愈来愈烈的谣言，隋主重惩东宫的官属，又经姬威添油加醋地诽谤，隋主便将太子杨勇的儿子以及他的党羽也禁锢起来。杨素趁机诬陷替太子说好话的左卫大将军五原公元旻，隋主派武士将元旻拘捕下狱，连同裴弘也被抓入监狱。
开皇二十年十月，隋主决意废黜太子杨勇。杨勇见到宣召他的朝使，大惊失色说：“父皇不是要杀掉我吧？”使臣支吾以对。杨勇只好硬着头皮，随使者进入武德殿。只见殿阶上下，兵甲森列，殿内东边站着百官，西边站着各王公，御座中坐着甲冑耀煌、威灵赫濯的皇帝杨坚，不由得心胆俱碎，匍伏阶前。内史侍郎薛道衡高高站在阶上，大声宣读废黜太子的诏书。诏书一读完，只见杨勇的儿子都被带上大殿，接着便被摘去冠带。薛道衡继续对杨勇说：“你犯下这么多罪恶，人神共弃，想保住储君的位置，怎么可能？”杨勇当即摘掉帽冠说：“多谢陛下饶我不死。”说着，泪如雨下，踉跄而去。满庭的王公大臣没有一个不感慨怜悯的，但也不便多说。杨勇有十个儿子，其中被封为长宁王的大儿子杨俨恳请充当禁宫侍卫。隋主不觉有些怜悯，想将杨俨留下，但是杨素坚决认为这样做不可取，隋主怏怏不乐。第二天，元旻、唐令则、邹文腾、夏侯福、元淹、萧子宝、何竦七人被斩，他们的妻妾以及儿子都没入官庭为奴。
太平公史万岁在朝堂上见太子被废，暗暗为太子叫冤，便不辞而退。隋主回忆起来，召问杨素说：“史万岁为何突然告退？”杨素回答说：“大概是去谒见太子了。”隋主当即召问史万岁，史万岁听说杨素诬陷，不服地说：“先前征讨突厥时，杨素没有将陛下的赏赐如数发放，惹得将士多半埋怨。杨素其实是个老奸巨猾的佞臣，还请陛下不要轻信他。”隋主此时正十分宠信杨素，自然极力驳斥，但史万岁仍然反抗，并且越说越尖锐。盛怒之下，隋主令人把他推出去斩首。过了一会儿，隋主有些后悔，忙派人追回成命。但史万岁的魂灵已进了枉死城，哪里还追得回？文林郎杨孝政劝谏说：“太子因小人误导才会做错事，陛下只要加以教诲，他一定会改过。陛下不该废黜太子。”隋主大怒，令人杖责杨孝政，杨孝政只好自认晦气，忍痛而出。隋主又召来东宫的官属，责备他们辅导无方，众人都万分惶惧，没人敢答话。唯独太子冼马李纲说：“废立大事，满朝文武大臣都觉得陛下做得不好，但是没人敢提出，今天臣就算是死，也要替太子说句公道话。太子本是性情中人，近朱则赤，近墨则黑。如果陛下选择正确的人辅导太子，太子一定是个能守住鸿业的贤明储君。只怪当初，陛下用唐令则为左庶子，邹文腾为家令，这二人只知道谄媚，太子怎么会不被他们导入歧途呢？这是陛下自己的失误，不能都归罪太子。”说到这里，李纲伏地呜咽。隋主也觉得有些惨然，叹息许久才说：“李纲怪我，也不能说是无理，但你只知其一，不知其二。我选你作为东宫的僚属，偏偏杨勇不肯亲信，所以就算我委派贤能的人去辅佐他，又有什么用呢？”李纲又回答说：“臣之所以不被亲信，就是因为那些奸人在太子身边，混淆太子的视听，蒙蔽东宫。如果陛下早些下令斩杀他们，并派贤才辅佐太子，臣怎么会被太子疏弃呢？自古以来，国家废立储君总会导致亡国，还请陛下三思，不要后悔。”隋主听了，勃然变色，抽身入内。群臣都为李纲担心，李纲却从容退去。不久，隋主下诏，将废太子杨勇移到内史省，享受五品官的待遇，同时晋封李纲为尚书右丞。朝臣纷纷钦服李纲的胆识，交口称颂隋主的贤明。
过了几天，隋主册立晋王杨广为太子，举国大震。杨广还讨好地向隋主恳请百官不必向东宫称臣。隋主杨坚嘉奖他的礼让，当即允准。杨广随后任用宇文述为左卫率，洪州总管郭衍为左监门率。隋主又将废太子杨勇移到东宫，禁锢在幽室，并令杨广好好管束。后来，杨勇觉得自己虽然犯错，但还不至于遭到废黜，便想向隋主申冤。杨广却不肯让他见隋主。杨勇于是爬到树上，大声呼冤。杨广却对隋主说杨勇被癫鬼所迷，变得有些癫狂。隋主于是让杨广从严禁锢杨勇。从此，杨勇便像囚犯一样，失去了自由。
隋主还以为立储立对了人，正十分欢喜。太史令袁充又不失时机地禀报好的天象。隋主当即改开皇二十一年为仁寿元年，颁诏大赦天下。晋封杨素为左仆射，苏威为右仆射，文武百官都被晋爵。
才过了一年，岐、雍二州就发生地震，无数民宅被毁。秋天的时候，独孤皇后受凉染病，不久便病重过世了，享年五十岁。隋主十分感伤，令礼官操办丧仪，将灵柩停放在白虎殿。太子杨广在灵柩前号啕大哭，悲不自胜，然而回到东宫，他照常饮食，照常欢笑，一点也不像悼亡的模样。外人不知实情，反而极力称赞太子孝顺厚道。转眼间已过了三个月，独孤皇后的灵柩被安葬在泰陵。泰陵是由上仪同三司萧吉挑选的，当时萧吉挑好陵地，上奏说：“据臣占卜得知，我朝将长存三千年，陛下将传位二百世国君。”隋主说：“吉凶都是由人来决定的，不关陵墓的征兆。”话虽如此，隋主仍旧十分欢喜得到风水宝地，竟决定将陵寝选在泰陵。萧吉悄悄和好友说：“先前宇文述奉太子之命嘱咐我好好选择山陵，好让太子早些继位。我回答他说，所挑的陵地能保证四年之内，太子必定君临天下。可是跟你们说实话太子一嗣位，隋朝必定灭亡。我对隋主所说的三千年，其实就是三十年，传二百世国君实际上只能传二世。你们都好好记着，看我的预测会不会应验。”萧吉的朋友也似信非信，将这件事搁到一边。
隋主的四皇子蜀王杨秀生得容貌壮伟，很有胆识，不到三十岁，便是一脸的大胡子，引得朝臣为之侧目。隋主曾对独孤皇后说：“杨秀将来肯定会谋乱。我在位一天，他肯定不敢乱来，到他兄弟即位时，他必反无疑。”独孤皇后因杨秀没有犯什么过错，便没把隋主的话当真。隋主则调任杨秀为蜀州刺史。
杨秀在益州任职时，极为奢侈，车马衣服都仿效天子的标准定制。隋主听说后，便对群臣说：“杨秀坏了我的家法！”当即派人去谴责杨秀，但杨秀始终不肯改过。太子杨勇因受诬陷而被废黜，晋王杨广继立为太子，杨秀十分不平。杨广怕杨秀对自己不利，忙偷偷嘱托杨素在隋主面前诬陷杨秀。隋主当即召回杨秀。杨秀入都谒见隋主时，只见隋主满面怒容，一言不发，便打算拜别出宫。这时，隋主让朝臣责备杨秀，杨秀谢罪说：“臣愧受国恩，出京镇守藩地时，没有遵守国法，罪该万死。”太子杨广听说杨秀遭到责骂，很是欣慰，却装出一副疼爱弟弟的模样，率同各王公入宫替杨秀求情。隋主反而更加生气地说：“他现在如此奢靡，以后怎么了得？你不必多说，我自有办法处置他！”当即把杨秀交给法司。开府仪同三司庆整劝谏说：“废太子杨勇刚刚被贬黜为平民，秦王杨俊又已病故，陛下只有这几个儿子，却为什么总是严惩他们呢？并且蜀王杨秀十分耿直，一旦受到重惩，说不定他会想不开而做傻事。还请陛下三思！”隋主大怒道：“你敢多嘴，我先割断你的舌根！”随即下令，将杨秀斩首市曹，以谢百姓。群臣都跪伏殿庭，为杨秀求情。隋主便让杨素等人处理。
太子杨广偷偷做出两个木偶，先是把木偶的手捆扎起来，又在木偶的心口钉入长钉，然后将隋主及汉王的名字写在木偶上，并写着：“请西岳慈父圣母立即派遣神兵，收去杨坚、杨谅的神魂。”然后让人把木偶埋在华山下，又暗嘱杨素发掘“罪证”。杨素不仅呈上杨秀的罪证，甚至诬称杨秀制造谣言，说京师妖气很重，蜀地十分吉祥。隋主看着罪证，拍案盛怒道：“天下怎么会有这种不肖子孙？”当即把杨秀贬黜为平民，幽锢在内侍省，并且不准他与妻儿相见。杨秀上奏称谢说：“多谢陛下的怜悯，饶我不死。请陛下让我见一见我的儿子，并赐我一处巢穴，让我的尸骸有个归宿。”隋主反而下诏细数杨秀的罪状。杨秀见到诏书，莫名其妙，这才明白自己是遭人诬陷。无奈身陷牢狱，就是想申冤也是妄想，只能坐以待毙。贝州长史裴肃替杨秀求情，隋主便对裴肃讲了一番自己的道理，而后罢掉他的官职，让他回乡。