隋文帝虽然对独孤皇后的死深感痛心，但生活毕竟还要继续。没有了皇后的严格管束，隋文帝身边多了两个美人，一个是宣华夫人陈氏，另一个是容华夫人蔡氏。
宣华夫人陈氏很有来头，他是陈朝陈宣帝之女，陈后主同父异母的妹妹。隋朝灭陈后，十余岁的陈氏则被配入掖庭。史书记载陈氏“性聪慧，姿貌无双”，或许是她性格好，会来事，“时独孤皇后性妒，后宫罕得进御，唯陈氏有宠”，独孤皇后对隋文帝看得很紧，唯独对陈氏睁一只眼闭一只眼，使其能够得到宠幸。独孤皇后去世后，陈氏进位为贵人，受专房之宠，掌管后宫事务，六宫无人能与之相比。
容华夫人蔡氏也是江南人，陈国灭亡之后，被选入隋朝后宫。她姿容婉丽、仪态大方，深得隋文帝的喜欢，但是由于独孤皇后的缘故，很少能得到宠幸。独孤皇后去世后，蔡氏渐渐得宠，被封为贵人，参与管理后宫事务，与陈国公主出身的陈氏地位相当。
由于隋文帝在生命的最后阶段宠幸这两位美人，被一些人认为是“晚年广宠后宫非常纵欲”，对此著名历史学家吕思勉先生说：“(高祖)性本严正，非溺情嬖妾者流。”隋文帝性格严正，他终其一生妃嫔不过寥寥数人，而且基本都是在独孤皇后死后置办，根本不存在所谓“纵欲”的问题。而资深隋唐史专家、复旦大学教授韩升则认为隋文帝宠幸后宫只是在寻找独孤皇后的影子：“其实，文帝在百花丛中寻寻觅觅的是独孤皇后的影子。可是，没有一个女人能够填补独孤皇后逝世留下的巨大空白。因此，也就没有一位女人能够满足文帝的需求。”
不过，已经步入暮年的隋文帝完全陷入了空前的孤寂之中，性情发生了很大的变化，猜忌心越发严重。猛将史万岁由于请功便丢了脑袋，“四贵”之一的虞庆则也被以莫须有的谋反罪砍了头。法制逐渐遭到破坏，《开皇律》是隋文帝下令制定的，废除了前朝许多严苛的刑罚，他一直能很好地遵守执行。但到了晚年后，隋文帝“用法益峻……不复依准科律……无殊罪而死者，不可胜原”。竟然颁布诸如“盗一钱以上皆弃市”“三人共盗一瓜，事发即死”之类的严苛刑法，偷一文钱，便会被判死刑，还出现了三个人偷窃一个瓜而被一齐处死的情况。刑罚不仅过于严酷，听上去也很荒唐，致使百姓惶恐不安，生怕因为一些小事便惹上杀身之祸。
隋文帝晚年特别热衷廷杖，或许看着官员在朝堂被打，更能感觉到自己的权威，“每于殿廷打人，一日之中，或至数四”，尚书左仆射高颎，诏书侍御史柳惑等谏议道：“朝堂非杀人之所，殿庭非决罚之地。”但隋文帝不听，依然我行我素。
隋文帝问领左右都督田元说：“我的杖刑重吗？”田元回答说：“重。”文帝又问其中情由，田元举起手来回答说：“陛下的杖和指头一样粗，捶打人三十下，就等于普通杖具捶打数百下，所以受刑人多被打死。”隋文帝听了虽然很不高兴，但还是下令撤掉殿庭内的杖具。
不过，很快他的老毛病又犯了。楚州行参军李君才上言说：“皇上过于宠信高颎了。”文帝大怒，命令用杖打他，而殿庭内已经没有杖具，于是就用马鞭将李君才打死。从此又在殿庭内放置了杖具。不几天，文帝由于怒不可遏，又在殿廷中杀人。兵部侍郎冯基苦苦劝谏，文帝根本不听，最后竟又在殿廷内将人活活打死。
在开皇十七年(597年)，隋文帝发了一道诏书，说：“其诸司论属官，若有愆犯，听于律外斟酌决杖。”就是说下级属官若有过失，即便够不上刑律条文，上级长官也可“律外斟酌决杖”。他不仅在朝堂上杖打大臣，还将“廷杖”强制地向下推广实施。隋文帝肆意践踏自己颁布的法律，搞得“天下懔懔”“公卿股栗，不敢措言”。
归根到底，隋文帝身体每况愈下和对未来的隐忧担心，让其性情大变，做了不少荒唐事。但对一件事，他的头脑是非常清醒的，那便是如何牢牢地掌控权柄。
说起权力，朝中炙手可热也最有权势的无疑是杨素，他在改立太子中出了大力，接着为独孤皇后处理后事做出了突出贡献，深得隋文帝的信任，不仅坐稳了朝臣的第一把交椅，他的弟弟杨约、叔父杨文思、杨文纪以及族父杨异，都是尚书，位列公卿。他的几个儿子没有什么功劳，也都官至柱国、刺史。
杨素就这样形成了政治小圈子，在朝中飞扬跋扈，朝廷内外没有不怕他的，生活上则非常奢靡高调。“家僮数千，后庭妓妾曳绮罗者以千数。第宅华侈，制拟宫禁。”家童有几千人，后院披罗挂绮的乐妓小妾也以千计。杨素府第华丽奢侈，规模体制竟然模仿皇宫。
杨素这样做，当然有人看不惯，大理寺卿梁毗上书隋文帝，弹劾杨素说：“窃见左仆射越国公素，幸遇愈重，权势日隆，所私皆非忠谠，所进咸是亲戚，子弟布州，兼州连县。天下无事，容息奸图，四海稍虞，必为祸始。夫奸臣擅命，有渐而来。王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。陛下若以素为阿衡，臣恐其心未必伊尹也。”核心意思是说杨素作威作福，结党营私，任人唯亲，所有大臣都看着他的脸色行事，这样下去，恐生大乱。
隋文帝对此最初的态度是非常生气，下令将梁毗关了起来，并亲自质问他，没想到梁毗毫无惧色，对隋文帝说：“素既擅权宠，作威作福，将领之处，杀戮无道。又太子、蜀王罪废之日，百僚无不震悚，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。”这段话讲得更具体，他以废太子杨勇和蜀王杨秀为例，两人被废黜的时候，百官们无不感到震惊，只有杨素表现出一副扬眉吐气、兴高采烈的样子。杨素这样做，就是盼着国家有事，以便趁机提高其地位。
隋文帝听后的表现是“帝无以屈也，乃释之”，仔细琢磨梁毗说得有道理，于是释放了他。在这点上，隋文帝还是清醒的，如果继续听之任之，杨素很可能尾大不掉，威胁社稷。
于是，从此隋文帝对杨素的态度大为改变，“素自此恩宠渐衰”，下令说：“仆射国之宰辅，不可躬亲细务，但三五日一度向省，评论大事。”仆射是国家的重臣，无须亲自处理那些细小的事务，只须三五天到官署一次，讨论一些国家大事就行了。表面上很体贴杨素，显示对他的尊崇，但实际上是剥夺了他的权力。毕竟朝中的大事都是皇上说了算，而管理朝中日常事务是宰相的职权之所在。
只是朝中事务繁杂，如果不用杨素，总是需要其他人来做事，维持整个朝政的正常运转。隋文帝精挑细选，选中了自己的女婿柳述。柳述娶了隋文帝最小的女儿兰陵公主杨阿五为妻。在隋文帝所有女儿中，这位兰陵公主最受宠，爱屋及乌，柳述在所有的女婿中也最为隋文帝看重，一路提拔到了兵部尚书。
隋文帝让柳述取代杨素，还有一个重要原因，就是两人素来不和。杨素作为朝中第一人，和杨广关系甚好，朝中大臣大多忌惮他。但受到隋文帝宠信的柳述却不吃这套，多次在公开场合奚落杨素。处理公务的判词有些不合杨素的心意，杨素有时叫他修改，柳述命人回复说：“告诉仆射，尚书不同意。”一而再再而三，两人结下很深的积怨。也因为如此，隋文帝觉得他是一个非常合适的人选，命他参掌朝廷机密。
杨素的失宠，给太子杨广带来了深重的危机感。因为杨素是他的同盟军，而柳述则是他非常讨厌的人。他和柳述结下梁子，是因为兰陵公主的择婿问题。杨阿五的第一任丈夫是隋文帝好友、北周重臣王谊之子王奉孝，不幸的是王奉孝因病早亡。杨阿五在父亲最需要的时候下嫁连姻，婚姻却遭遇不幸，她的公公王谊后来又被隋文帝赐死，本来就爱怜小女的隋文帝夫妇充满愧疚，于是下决心为她再选一门好亲。
最先进入隋文帝法眼的是萧玚，他是杨广王妃萧氏的弟弟，也就是杨广的小舅子。杨广在父皇和母后面前极力撮合这门婚事，隋文帝夫妇开始答应了，但不巧遭逢萧玚的父亲萧岿去世，按照礼制，萧玚要守孝三年，这样一来，兰陵公主再嫁的事情就被暂时搁置下来了。
等到隋文帝平定天下，兰陵公主即将十八岁，婚事再也不能耽搁了。但此时半路杀出个程咬金，萧玚又多了一个竞争对手——柳述，他是隋文帝宠臣柳机的长子。隋文帝为了谨慎抉择，请出了名相士韦鼎，看完两人的面相后，韦鼎说：“萧玚有封侯之兆，但无贵妻之相；柳述面相显贵，不过恐怕守不住富贵。”隋文帝认为有自己在，哪里有什么富贵是守不住的，于是说“富贵由我”，将兰陵公主下嫁柳家。
杨广本来以为公主婚事毫无悬念，但没想到被柳家截了胡，再加上柳述与杨素交恶，这使得杨广对这位妹夫非常厌恶。而更令杨广担心的是柳述和废太子杨勇的关系素来不错，如果他受到重用，会不会为杨勇说话，杨广心里一点底都没有。
很快，让杨广担心的事情就发生了，有人看出风向要变，站出来为杨勇和高颎公开翻案。此人是贝州长史裴肃，他上奏说：“臣闻事君之道，有犯无隐，愚情所怀，敢不闻奏。窃见高颎以天挺良才，元勋佐命，陛下光宠，亦已优隆。但鬼瞰高明，世疵俊异，侧目求其长短者，岂可胜道哉！愿陛下录其大功，忘其小过。臣又闻之，古先圣帝，教而不诛，陛下至慈，度越前圣。二庶人得罪已久，宁无革心？愿陛下弘君父之慈，顾天性之义，各封小国，观其所为。若能迁善，渐更增益，如或不悛，贬削非晚。今者自新之路永绝，愧悔之心莫见，岂不哀哉。”
裴肃为高颎、杨勇和杨秀喊冤，希望他们能重出江湖。对于高颎，裴肃认为他有大功，过错和功劳相比不值一提，希望隋文帝“录其大功，忘其小过”，不要让这样杰出的人才白白闲置。至于杨勇和杨秀，裴肃认为应该给他们改过自新的机会。“各封小国，观其所为”，如果表现不错，可以提升他们的地位；如果不知悔改，再剥夺爵位也不晚；如今不给他们机会，也就看不出他们是否有悔改之心。
隋文帝对裴肃上奏的态度耐人寻味，如果放到过去，估计早已大发雷霆，搞不好裴肃的人头也会落地，但如今他却表示道：“裴肃忧我家事，此亦至诚也。”裴肃关心我的家事，是一个忠臣，于是召裴肃入京觐见。
杨广听闻这个消息，心里感到极度不安，不知父皇是什么意思。他对臣下说：“使勇自新，欲何为也？”他更担心的是群臣看到杨素失势，有更多人见风使舵，站出来为杨勇说话。众口铄金，到那时保不齐隋文帝又会改主意，毕竟自己两个最重要的同盟独孤皇后和杨素，一个已经死了，一个靠边站，会产生什么样的变数，还真不好说。
杨广的这份担心和不安很快就全然消失，因为隋文帝驾崩了。仁寿四年(604年)七月十三日，在仁寿宫，隋文帝永久地离开了这个世界。他的死成为古代历史的谜案之一，最大的谜团是到底是自然死亡还是被杨广所害，千百年来，众说纷纭，一直没有一个确定的说法。
引发如此大的争议，源头在于不同的史书记载不一样，关于自然死亡，《隋书·高祖本纪》里说：“甲辰，上以疾甚，卧于仁寿宫，与百僚辞诀，并握手歔欷。丁未，崩于大宝殿，时年六十四。”隋文帝临终前召见文武官员，并与他们握手诀别，君臣都流下了眼泪，场面显得很感伤。
《隋书·何稠传》记述了一个更为感人的场景，隋文帝临终时，把杨广叫到床前，用手抚摸着杨广的脖子嘱咐道：“何稠用心，我付以后事，动静当共平章。”说何稠此人做事很用心，我已经把后事托付给了他，行事应当和他商量。这里有个细节动作——“揽太子颈”，有力地证明了杨坚的爱子之情仍然不减于往日，对这个皇朝的接班人充满了信心和期望。按照这些记载，隋文帝死得安详，也很从容。
但是更多的人相信另外一种说法，便是隋文帝是被杨广所害。同样在《隋书·后妃传》中记载了这样一件事——“初，上寝疾于仁寿宫也，夫人与皇太子同侍疾。平旦出更衣，为太子所逼，夫人拒之得免，归于上所。上怪其神色有异，问其故。夫人泫然曰：‘太子无礼。’上恚曰：‘畜生何足付大事！’”说的是隋文帝自从生病以后，太子杨广与侍疾的宣华夫人打照面的时候就多了。杨广早已对貌美如花的宣华夫人垂涎已久，在她更衣之时，杨广便大胆地去调戏她。宣华夫人惊慌不已，逃到老皇帝身边哭诉，隋文帝怒骂杨广为畜生，随即命元岩、柳述宣废太子杨勇进宫以托后事，杨广知道事情败露，赶紧命太子右庶子张衡弑杀了隋文帝。
《隋书·杨素传》和《资治通鉴》里也有相同的记载，不过多了一些细节。第一个细节是杨广曾手书杨素：“太子虑上有不讳，须预防拟，手自为书，封出问素，素条录事状以报太子。宫人误送上所，上览而大恚。”杨广担心父皇随时有可能驾崩，于是写了一封密信给杨素，商议皇上死后该如何掌控局势。杨素写了封回信，让宫女交给杨广，但中间出了差错，宫女稀里糊涂将密信送到了隋文帝手上。隋文帝看后大怒，自己还没有死，太子和宰相就商量自己死后之事，这说明杨广盼着自己病体不愈，早日死掉。
第二个细节是隋文帝有了废掉杨广的意思后，“杨素闻之，以白太子，矫诏执述、岩，系大理狱；追东宫兵士帖上台宿卫，门禁出入，并取宇文述、郭衍节度……”。杨广矫诏逮捕了柳述和元岩，把他们关进了大理寺监狱，并调集军队进驻仁寿宫，命令宇文述等控制宫禁，不许任何人出入，彻底切断了仁寿宫和外界的联系。
此外，《隋书》和《资治通鉴》都提到了一个关键人物——右庶子张衡，正是在他进入隋文帝的寝宫后，“俄而上崩”。至于张衡做了什么，史书并没有说，给人无限想象的空间。于是各种说法不胫而走，唐初赵毅所著的《大业略记》中说：“帝(杨广)事迫，召左仆射杨素、左庶子张衡进毒药。”马总所写的《通历》中又说：“杨素秘不宣，乃屏左右，令张衡入拉帝，血溅屏风，冤痛之声闻于外，崩。”对隋文帝最后下毒手的正是张衡，不过前者记载是用毒药，后者则说是用凶器将隋文帝杀死。
各种说法都有，搞得后来的司马光不知道哪个是真实的，因此基本上引用了《隋书》中的说法。不过他还写了一句“故中外颇有异论”，表明对这件谜案众说纷纭，并没有定论。
历史的真相到底是什么呢？还是要从细节入手，整个过程中一个最重要的环节是太子杨广按捺不住欲望猥亵宣华夫人，没有这出戏，隋文帝不会暴怒继而想起废太子杨勇，杨广也不会调兵进驻仁寿宫，张衡更不会进入寝殿，一切都会按照正常的程序进行，隋文帝驾崩，太子杨广上位，也就不会有这桩千古谜案。
所以，核心的问题是杨广是否对宣华夫人做了这样的事。关于这个问题，虽然史书上有记载，但如果仔细分析一下，同样会感到迷雾重重。首先从常理上看，杨广不大可能做这件事，杨广逆袭能成为太子，靠的就是自律，“矫情饰行”二十余年，除萧妃外，不亲近其他女人，这份自制力强大到令人咂舌。何以一时糊涂，在当上皇太子之后，大胆妄为敢动父皇身边的女人，这样做无疑将自己置于危险境地，甚至可能将夺嫡成果毁于一旦。况且隋文帝病入膏肓，将要进入弥留之际，再忍一会儿就可以顺利登基，已经忍了二十多年的杨广，难道连几天都无法忍了吗？史书中将杨广记述得如此轻佻，则其行为前后相悖，于情于理不合。
这出戏的另一个主角宣华夫人陈氏的行为同样不合情理。杨广和宣华夫人在一定意义上说是政治上的盟友，据《隋书》记载：“晋王广之在藩也，阴有夺宗之计，规为内助，每致礼焉。进金蛇、金驼等物，以取媚于陈氏。皇太子废立之际，颇有力焉。”晋王杨广想争夺太子之位，于是经常送礼物给宫人们以笼络人心，为己所用。杨广曾送金蛇、金驼等物给陈氏，而陈氏确在皇太子废立之际为杨广出过不少力。照此说来，两人交往，并非初次见面，怎么会搞得杨广荷尔蒙激增？再说，宣华夫人接受杨广礼物，为杨广说话并不是贪财好礼，而是选择站队，为自己的将来做个铺垫，她的靠山是当朝皇帝，但隋文帝年事已高，将来的命运就掌握在杨广手里。
因此，退一万步讲，即使发生了这样的丑事，宣华夫人大概率也不会跑到隋文帝那里告状。史书上说她“性聪慧”，当时的形势是隋文帝奄奄一息，杨广马上要继承大统，满朝文武大多为杨广的人，在这个时候跑去告发，除了将自己陷入万劫不复的境地，没有任何益处。既然废立太子时她已联手杨广，等杨广顺利登基，宣华夫人就会有新的靠山，于她而言，沉默不语无疑是更佳的选择。为何放着新的靠山不要，而选择和老皇帝一起沉没呢？
更让人生疑的是，后来隋末农民起义，为了体现造反的正义性，将杨广说成是一个罄竹难书的恶棍，并公布了十大罪状。其中并没有说杨广“烝母而弑父”，如果杨广有此恶行，如此好的素材怎么会弃而不用？事实上，这种说法从唐朝才开始出现。因为杨广是亡国之君，为了证明唐取代隋的正当性，杨广必须要以前所未有的残暴好色的形象出现，于是一段段有鼻子有眼的风流艳史跃然纸上，其中就包括“烝母弑父”这一段。到了明朝演绎得更加厉害，明代袁于令评改的《隋史遗文》中有一章专门题为“恣烝淫太子迷花，躬弑逆杨广篡位”，十分着力地描述了这段艳情。明代另一部署名齐东野人著《隋炀帝艳史》，也对杨广趁父皇卧病之机，调戏后母宣华夫人进行了着力描写。此书第三回题“正储位谋夺太子，侍寝宫调戏宣华”中，更是把杨广说成是个“色中饿鬼”，说：“杨广入宫看见宣华，早已魂销魄散，如何禁得住一腔欲火!不转珠地偷睛细看，见宣华美丽异常，心头欲火如焚，恨不得一碗水将她吞下肚去。”正史、野史、的露骨描写，特别是明清广泛流传于民间社会，影响非常大，杨广由此被钉到了“弑父淫母”的耻辱柱上。
为了增加故事的完整性，又说杨广事后派使者送一金盒给她，宣华夫人担心杨广送毒药来赐死她，于是不敢打开，结果打开以后竟然是好几枚同心结。宣华夫人不仅没有丢了性命，反而受到了杨广的宠幸，这样一来，杨广从“淫棍”变成了“情种”，而宣华夫人此前的一番折腾显得毫无意义，看上去多少有些荒唐可笑。
如果说这个关键环节站不住脚，由此衍生出的其他事情更加可疑。特别是张衡弑杀隋文帝一事，当时杨广和杨素已经完全控制了局势，隋文帝已经奄奄一息，随时可能死去。张衡进宫不久，隋文帝驾崩，要说也是正常的事情，在这种情况下，杨广让张衡杀掉没有任何抵抗能力的父皇，从而让自己背上弑父的罪名，完全是多此一举，实在没有必要。
不过，常有人用张衡后来的遗言佐证他确实做过这桩血案。大业八年(612年)，张衡因反对建造汾阳宫和诽谤朝政而被赐死于家中，临死前他大声说道：“我为人做何物事，而望久活！”意为我为世人做了什么好事，还想久活。有人认为张衡肯定做了什么见不得人的事才出此言，而这件事情就是弑杀隋文帝。
不过仔细想想，这样理解过于牵强。如果杨广想要杀人灭口，为何要等到八年以后才动手，就不怕夜长梦多，张衡把秘密说出去吗？何况作为杨广的心腹，张衡为他做了不少事，有些事注定是不能公开的。更重要的是，唐朝建立后，唐高祖李渊认为张衡“死非其罪”，替他平了反，并赐给他“忠”的谥号。如果张衡真的是凶手，作为臣子杀掉皇上，李渊绝对不会给他平反，更不会给他这样一个谥号，毕竟还是要讲基本的政治伦理道德的。
追溯历史，最早记载仁寿宫之变的是两本书。一是唐朝初年赵毅所著的《大业略记》，其中写道：“高祖在仁寿宫，病甚，追帝侍疾，而高祖美人尤嬖幸者，唯陈蔡二人而已。帝乃召蔡于别室，既还，面伤而发乱，高祖问之，蔡泣曰：‘皇太子为非礼。’高祖大怒，……召兵部尚书柳述、黄门侍郎元岩等令发诏追庶人勇，即令废立。帝追迫，召左仆射杨素、左庶子张衡进毒药。”这个记述虽然写得绘声绘色，但居然把女主角都搞错了，由宣华夫人变成了容华夫人，不但连受害者是谁都没搞清楚，连隋文帝的发丧日期说得也不对，而这些都属于常识性错误，可信度实在不高。
另一本是唐朝中期马总的《通历》，这样记载：“上有疾，于仁寿殿与百僚辞诀，并握手欷歔。是时唯太子及陈宣华夫人侍疾，太子无礼，宣华诉之。帝怒曰：‘死狗，那可付后事！’遽令召勇，杨素秘不宣，乃屏左右，令张衡入拉帝，血溅屏风，冤痛之声闻于外，崩。”读来感觉更为荒唐。一来在隋文帝与百僚诀别的庄严时刻，身为太子的杨广却跑到别室去非礼宣华夫人。二来隋文帝让杨素去召杨勇，难道已经糊涂到不知杨素和杨广的关系了吗？三来张衡的作案手法非常露骨，居然杀得声闻四野，好像生怕别人不知道。
历史现场或许真如《隋书·高祖本纪》记录的一样，隋文帝走得很安详，没有杨广的强暴未遂，也没有张衡的刀光剑影，一切都是按照正常程序进行。不过，由于杨广弑父的事情流传甚广，尽管疑点重重，似乎已经成为历史定论。由此明朝大学问家李贽说：“仁寿四年，寝疾暴崩，广为之也。”清朝的王夫之也说：“杨广之杀君父，杀兄弟。”