隋廷中有一位老宰相对隋炀帝的劳民伤财之举十分不赞成。这位宰相不是别人，正是杨素。杨素正想入宫劝谏，可巧隋炀帝召他入宫侍宴。来到显仁宫，见过隋炀帝，杨素满腹谏议，但一时不便开口，只好入座侍宴。才喝了几盅，杨素便停住不饮，隋炀帝一再劝酒，他站起来答谢说：“老臣听说酒和色这两样东西势必会亡国，不但老臣需要节制饮酒，就是陛下也不宜耽情酒色。”炀帝听了，觉得万分扫兴，便说：“你说得虽然有理，但如今天下太平，朝廷无事，把酒消遣，也没有什么危害。况且我朝还剩几个像爱卿这样的勋旧？今天难得共聚一堂，就尽兴地多喝几杯吧。”杨素见话不投机，便又说：“陛下有没有听过防微杜渐？从前的圣帝明王都是谨言慎行，国家才得以长治久安。”炀帝默然不答。刚巧有宫人上前斟酒，杨素怕自己的杯子又给满上，忙用袖一拂，宫人来不及防备，竟将手中酒壶里的酒洒在杨素身上。杨素此刻万分恼火，正愁没地方发泄，当下便迁怒宫人，勃然变色道：“你这蠢材，如此无礼！怎么敢在天子面前戏弄大臣？要朝廷法度干什么用？请陛下加重惩责！”隋炀帝默然无语。杨素竟喝令侍卫把宫人拉出去，并厉声说：“国家政令，全被你们这些妇人、小人破坏了，怎能不严惩？”侍卫见隋炀帝不发话，又见杨素怒不可遏，只好把宫人拉下去，打了二十下。杨素这才对隋炀帝说：“不是老臣唐突陛下，而是想借着今天的惩治，让这些宦官、宫妾晓得，陛下虽然仁爱，还有老臣执法相绳，以后他们就不敢如此放肆了。”隋炀帝已十分不悦，但暗想自己能够有今天，还得多谢杨素，就是万分难耐，也得含忍过去。当下强颜为笑道：“爱卿无私地为朕执法，整肃宫廷，真是一个忠臣呀！”杨素随即起座告辞。隋炀帝也不挽留，让他自便，而后退入后宫，与皇后、妃嫔调情解闷去了。杨素悻悻回到家里，对家人说：“偌大一个郎君，由我一力促成，使他成为国君，现在他却酒色昏迷，这怎么了得？”杨素自恃功高，有时当着隋炀帝的面，直呼隋炀帝为“郎君”。隋炀帝始终不曾驳斥他，就是为了实践先前那句“绝不辜负”的诺言。
一天，杨素入宫禀报国事，正碰上隋炀帝在池边钓鱼。听完国事，隋炀帝便邀他坐下一同钓鱼，杨素也不管君臣上下，当即让人搬来金交椅，与隋炀帝并坐垂钓。当时正值初夏，随着日头渐渐升高，天气也热了起来，隋炀帝让人撑起华盖。宽大的华盖刚好蔽住两人，杨素毫不避让，从容钓鱼。隋炀帝钓了数尾，杨素偏偏一条也没钓着，隋炀帝便对他说：“爱卿文武双全，看来也有不擅长的，否则为什么钓了这么久，一条也没钓着？”杨素本就争强好胜，怎么禁得起隋炀帝的奚落。当即应声说：“陛下只钓到小鱼，老臣却要钓一条大鱼，陛下没有听说过大器晚成吗？”隋炀帝一听，不由得愤恨交加，又见华盖下的杨素神采秀异，相貌堂堂，数绺长须在微风吹拂下飘动如银，恍然有帝王的气象。隋炀帝越发忌恨，将钓竿一丢，借口去方便，便到后宫去了。萧皇后见隋炀帝面带怒容，便上前询问缘由。隋炀帝说：“杨素老贼骄肆得很，朕真想派内侍杀了他。”萧皇后不等隋炀帝说完，忙劝阻他说：“不行！不行！杨素是先朝老臣，又为陛下建立不小的功绩，如果陛下杀了他，别人怎么肯服？况且杨素又是一员猛将，不是几个内侍就能制服得了的，万一让他逃脱，在京外兴兵，陛下将来怎么对付他呢？”隋炀帝半晌才说：“投鼠忌器，朕只是随便说说。”说完，长叹数声，又出去钓鱼。刚巧杨素钓着一尾金色鲤鱼，便向隋炀帝夸耀说：“有志者事竟成，老臣钓着一条大鱼了。”隋炀帝强笑不答。杨素看出隋炀帝不高兴，随即拜辞而去。
不久，宣华夫人过世，隋炀帝悲痛不已，连续几天不去上朝。王公大臣都入宫问安，杨素当然也不例外。刚走到殿门口，忽然一阵阴风扑面吹来，杨素不由得毛发直竖。定睛一瞧，见有一人头戴皇冠，身穿龙袍，手中拿着一把金斧钺，走下殿来，这位威灵显赫的皇帝不是隋炀帝杨广，竟是隋文帝杨坚！杨素不禁有些惊惧，转身就要逃开，耳边却传来隋文帝凄厉的声音：“狗贼休走！我想册立杨勇为储君，你不但不依我，还与逆子杨广和起伙来谋害我，让我死得不明不白，今天我特地来取你的狗命！”杨素越发惊骇地想逃跑，偏偏脚下像被什么东西绊住，无法前进，后面的隋文帝似乎已追上前来。杨素只觉得脑袋上挨了一下，痛不可耐，当即晕了过去，口吐鲜血不止。殿上的卫士一见杨素跌倒，立即上前搀扶，发现他不省人事，便把他送回家。家人忙请来医生诊治，杨素半晌才醒来，看着家人，凄声叹息道：“我活不长了，你们给我预备后事吧。”家人一听，连忙四处访求名医。隋炀帝也派御医去诊治，御医回来说：“杨大人的病看来是无法痊愈了，只能过一天是一天。”隋炀帝听后，很是欢喜，只是一想到宣华夫人，就长吁短叹起来，萧皇后便劝慰他说：“人死不能复生，陛下不要太过悲伤。”隋炀帝说：“佳人难再得，叫朕怎么忘怀呀？”萧皇后微笑着说：“天下这么大，难道除了宣华夫人，就再没有别的佳丽吗？”这话点醒了隋炀帝。隋炀帝当即下令采选宫女。
不到一个月，各地送来大量的美女，内监许廷辅将美女的姓名编辑成册，递交隋炀帝。隋炀帝一盘算，发现名册里面记载的女子不下一两千人，便自忖道：“难道天下真有这么多美女吗？可能他们连嫫母、无盐都采来了。”转念又一想：“既然已经选集了这么多女子，总会有几个让朕满意吧。那些相貌平庸的，就让她们在宫中打扫，看着满园的春色，也挺不错。人还是愈多愈妙！只是显仁宫虽大，但究竟是个宫殿，需要另辟一所园子，才好安置这些女子。”计划已定，隋炀帝便召来一群佞臣商议，其中内史侍郎虞世基的提议最让人满意，隋炀帝便让他负责督造苑囿。
虞世基在洛阳城西边开辟二百里的地方，先构建一片内海，再在外面营造出五处大湖，暗寓天下五湖的意思。每湖方圆十里，四面砌成长堤，长堤上面的奇花异草数不胜数，并且百步一亭，五十步一榭，亭榭两旁又栽植些红桃绿柳。湖内有青雀舫、翠凤舸，并有一艘龙舟。这五湖都与内海相通。内海方圆四十里，中间筑有三座大山，一座叫蓬莱，一座叫方丈，一座叫瀛洲，好似海外三座神山。山上添造的楼台殿阁备极工巧，山高一百多丈，向西眺望可以看到长安，向南远望可以看到江淮。湖海交界的地方造有一所正殿，恢宏绝伦，不用细说。内海北岸一带筑成一道弯曲的长渠用来引接海中活水。在长渠最美的地段，置有一座大院。大院里面有十六个别院，专门用来安顿宫人。才用了几个月时间，工程便已告捷，隋炀帝当即带着皇后、妃嫔前去新苑游幸。那阁楼个个钩角相连，竞巧争新；海水澄青，湖光漾碧；三座神山葱茏佳气，更有十六院点缀风流，桃成蹊，李列径。仿佛是缥缈云天，荣福之地。隋炀帝非常高兴，当下便为新苑命名为西苑，也称芳华苑。五湖十六苑也有了各自的名号。
定完名称，已近昏黄，四面八方的悬灯、红烛映在水面上，绕成一片霞彩。隋炀帝格外高兴，当即让人备好酒宴，把酒言欢。喝了数巡，隋炀帝对萧皇后说：“十六院已经造就，朕打算挑选十六位谨厚的淑媛，作为每院的主持，你觉得怎么样？”萧皇后含笑回答说：“臣妾听说许廷辅已经把美人都带进来了。陛下为什么不现在挑选呢？”隋炀帝大喜道：“皇后真是宽洪雅量。”没多久，美人来了，隋炀帝便边喝边瞧，真是柳媚花娇，目不睱接。况且灯光半焰，醉眼微蒙，一时之间也辨不出什么妍媸，只觉得一簇簇娇娃拨动人的心弦。还是萧皇后替他品评，这个是肉不胜骨，那个是骨不胜肉，这个是瑜不掩瑕，那个是瑕不掩瑜，好不容易选出了十六位姿容窈窕、体态幽娴的淑媛。隋炀帝当即封她们为四品夫人，让她们管理各自别院的事情。接着萧皇后又选出三百二十名美人，每院分二十名，让她们学习吹弹歌舞，以备侍宴。其他女子则分派到各处楼台亭榭，充当职役。一千多名女子拜谢而去，好似风卷残云，浪逐桃花，都去得无影无踪了。此时已是深夜，酒兴已过的隋炀帝这才与萧皇后返回显仁宫。
玩乐了没几天，隋炀帝便想南下赏花，凑巧皇甫议上奏说河渠已通，龙舟也已经造成。隋炀帝游兴勃发，当即下诏，安排仪卫，准备游幸江都。宫廷内外一接到诏书，接连备办了十多天，忙得疲惫不堪，才有点眉目。就在朝廷大臣忙里忙外地准备时，隋炀帝也动手把两个留在京都的堂兄杨纶和杨集发配到了边疆。没有了后顾之忧，隋炀帝这才拟定仲秋南巡，随即任命左武卫大将军郭衍为前军统领，右武卫大将军李景为后军统领，让两人随驾南巡；同时赐五品以上的文武官员坐楼船，九品以上的官吏则坐竹船；并令黄门侍郎王弘监督龙舟，奉迎车驾。
一转眼到了出巡的日子。这天，隋炀帝与萧皇后打扮得异常华丽，坐着一乘金围玉盖的逍遥车，率领显仁宫、芳华苑内的三千粉黛，从东都出发。逍遥车的前后左右的随行人员骑着高头大马，穿着蟒衣玉带。在前领路的是左卫大将军郭衍，在后护卫的是右卫大将军李景，两人各带着千军万马。大队迤逦到了通济渠。隋炀帝与萧皇后被扶下逍遥车，走入河岸边的红色小楼船。其他男女都鱼贯而下，登上便舟。一出洛口，就看见有两艘大船停泊中流，最大的一艘便是龙舟。龙舟高四十五尺，长二百尺，共分为四层。最上面的一层有正殿、内殿、东西朝堂，中间的两层共有一百二十个房间，这些房间都用金玉装饰而成，下面的一层条件较为简陋一些，是内侍的居所。不用说这船是为隋炀帝准备的。龙舟旁边的那艘船叫做翔螭舟，它的规模和装饰比龙舟略逊一筹，这船是萧皇后的坐船。另外有九艘同样精致的船，充作水上的宫殿，还有漾彩、朱鸟、苍螭、白虎、玄武等数千艘船，分别承载王公大臣、妃嫔、公主以及用来装载内外百司供奉的物品。最奇怪的是五楼、道场、玄坛等数十艘船是专门为僧尼、道士、番客准备的。总共有八万多名船工，光龙舟、翔螭舟就占用九千多人。卫兵所乘的船只又分为平乘、青龙等数千艘，他们的坐船由自己开动。龙旗舞彩，画舫联樯，逶迤二百多里，岸上又有数队骑兵夹河而行。所过州县五百里内的居民都被勒令敬献美食，往往一州就要供应出数百车山珍海味。隋炀帝、萧皇后及后宫的妃嫔却总是品尝丁点儿，便将食物抛在河中。自古以来，帝王巡幸天下，谁有这么奢侈，这么骄淫！