卢明月虽然败死，上谷贼王须拨又自称漫天王，据地称燕国。更有贼目魏刀儿自称历山飞，二贼各拥众十万，北连突厥，南掠燕赵。隋炀帝杨广听说盗贼蜂起，百姓逃亡，便将百姓迁入长安城，就近给田；并令各郡县、驿亭、村坞增筑城垒，随时提防。
当时，有个叫安伽陀的方士对隋炀帝说：“李氏将会成为天子，还请陛下杀光李姓人。”隋炀帝因此有些疑忌，想起父亲在日时，曾梦见洪水淹没都城。而眼下，朝中的李浑是隋初太师李穆的第十个儿子，并且李氏属于世袭之家，宗族强盛。李浑不仅姓李，他名字中的“浑”字有水，而他的侄儿将作监李敏，小名又叫洪儿！种种疑点，让隋炀帝觉得不能不先发制人，当即召入李敏，说他小名不好。李敏表示愿意改名，可是他哪里知道隋炀帝是叫他自杀，免得受刑，只是没有明说而已。一出宫，惶惧的李敏忙找表叔李浑商议。二人为了求生，天天私下商议对策，不料二人私议的情况被李浑的冤家宇文述得知。原来，李穆病故后，按理应该由长子的儿子李筠袭爵，李浑却谋杀侄儿李筠，并向宇文述求助，承诺愿意将家产分一半出来，作为酬劳。宇文述便在隋炀帝面前代为吹嘘，使得李浑承袭父亲的封爵。后来，李浑竟背弃约定，没有酬谢宇文述，愤恨的宇文述便日夜想着报复。此时，隋炀帝正想对李浑下手，一听到宇文述的密告，便暗嘱郎将裴仁基弹劾李浑与李敏。李氏叔侄一背上蓄谋不轨的罪名，隋炀帝便把他们打入监狱。宇文述又落井下石地诬告二人曾谋反，并诈诱李浑的妻子自首。于是不光李浑叔侄被斩，李浑的宗族也坐罪遭刑。一群冤死鬼，共入冥府，就连李浑的妻子也没能自保，被人毒死。
那时突厥启民可汗已死，他的儿子咄吉世嗣位，被隋廷册封为始毕可汗。始毕又娶父亲的妻子义成公主为妻，并上奏请示隋炀帝，隋炀帝鉴于突厥自古的习俗，也就允准了。始毕是个有勇略的人，继位不到几年，部落便强盛起来了。隋朝黄门侍郎裴矩怕强大起来的始必将来对隋朝不利，忙向隋炀帝奏请册封始毕的弟弟咄吉设为南面可汗，以分减突厥的势力。隋炀帝依议派使臣去册封，没想到咄吉设十分懦弱，不敢受诏，隋朝使臣只好又跋涉千里，捧着诏书回朝。始毕得知后，对隋廷搬弄是非的举措十分不满。没过多久，突厥又有谋臣被裴矩谋害，始毕自此与隋朝恩断义绝。
大业十一年初夏，汾阳宫告竣，隋炀帝带着妃嫔和三皇子赵王杨杲游幸汾阳。因怕途中遇到盗贼，隋炀帝特意调任李渊为山西、河东抚慰大使，让他先行清道。果然，龙门一带盘踞着母端儿、敬盘陀等贼人，李渊当即发兵剿捕，击破母端儿，收降敬盘陀，隋炀帝得以安全抵达汾阳宫。新建的汾阳宫异常华丽，但是受地势限制，不是很宽敞。百官、士卒无法入居宫城，只能散布山谷，扎下营寨，暂时栖息。由于天气渐热，隋炀帝为避暑，竟在汾阳宫住了一百多天。好不容易迎来秋高气爽的天气，偏偏他却不想南归，又想顺道北巡。一出长城，忽然碰到自突厥来的密使，说是奉义成公主之命，前来送信。隋炀帝取过书信一瞧，失色惊叫：“不好了！不好了！始毕要来杀我了！”说着，一面让人留住来使，一面下令回朝。众人听说有急变，仓促回头，拥着隋炀帝返回长城。刚入雁门关，就猛然听到呼哨声、人马声，杂沓前来。隋炀帝当即登城北望，远远地看见胡骑漫山遍野而来，前队是弓箭手，还没到关下，都已是弯弓搭箭。霎时，雨点般的利箭射了过来。只听“嗖”的一声，一支利箭穿透隋炀帝的御盖。隋炀帝忙把头一摸，正侥幸脑袋没被射着，没想到那支五尺有余的硬箭突然从他的袍袖下掉了出来。隋炀帝惊得一身冷汗，忙跑到城下，与赵王杨杲相对涕泣，哭得眼睛红肿，悔不可追。将士上前请示：“关外约有数十万人马，如果开关迎战，恐怕寡不敌众。还请陛下下令拒敌严守。”隋炀帝踌躇好久，勉强镇定心神，这才出来对众将士说：“可恨的始毕，无端偷袭，你们若是努力抗拒贼人，那么人人有赏！这次如果能活着回去，在朝中供职的就加官晋爵，没有职位的就官居六品！”将士们一听这话，齐呼万岁，就是寻常士兵也想乘此邀功。因此，全军上下没有一人不摩拳擦掌，据关死战。始毕麾众猛扑，守卒也抵死不退，两方相持了一个月左右。
隋炀帝又下诏，招募天下兵马，邻近的守吏纷纷赶来护卫国君。屯卫将军云定兴也募集壮丁救急。应征的人多不胜数，其中有一个少年豪杰也来报名参军，云定兴见他气宇非凡，便把他召进营帐，细问他的籍贯。那人回答说：“晚生姓李，名叫世民，是现任抚慰大使李渊的次子。”云定兴欢喜地说：“将门生将，看来古语不假。只是你年纪还小，恐怕现在不能为国效力。”李世民朗声道：“世民今年已十六岁，大人怎么知道我不能效劳？况且将在谋不在勇，难道只有临阵杀敌，才称得上是大将？”云定兴不禁称奇，忙让他坐下，问起救驾的计策。李世民从容说道：“始毕突然兴兵大举，围攻天子，就是笃定我们仓促之下无法调来援兵，所以他才如此猖獗。眼下这里兵少，仓促募兵，只能招来一帮乌合之众，自然无法救驾。依我看，我们不如虚张声势，作为疑兵，白天引动旌旗，使旌旗绵延数十里；晚上则击鼓相应，喧声四达，让胡虏以为我们已经有大队人马赶到。他们的计谋无法得逞，自然望风逃去。”云定兴拍手称赞，施行李世民的计策。始毕果然疑惧，不敢急攻雁门关。
隋炀帝又秘密派人去突厥，请义成公主想办法解围。义成公主便致信始毕，骗他说北方告急。始毕无法前进，只能撤兵回去，解决后患。隋炀帝看始毕已经退去，便放心大胆地派人追击，捕杀了些老弱残兵，才启程南返。走到太原，宇文述等人仍想回东都，忽然有一位老臣进谏说：“近年来盗贼不断，士马疲敝，还请陛下速回长安治理国家。”隋炀帝一瞧，见是光禄大夫苏威，便感叹道：“你说得对，朕依你。”原来，苏威虽然因劝阻隋炀帝修筑长城而遭到贬黜，但没过多久，又被起用为纳言，接着被隋炀帝晋封为光禄大夫，并被加封为房公。隋炀帝见苏威已退了出去，忙又召入宇文述商议。宇文述建议说：“那些随陛下北巡的官吏，他们的妻儿基本上都在东都，就算是要回长安，陛下先在洛阳待几天，又有什么关系？等我们在东都休整好了，再从潼关入长安也不迟。”宇文述这些巧为迎合的话，当然让人觉得很中听。隋炀帝便不回关中，竟自太原南下，直达东都。
一回到东都，隋炀帝看着街巷，对侍臣说：“还是大有人在，不可不防。”侍臣虽然不解，但仍唯唯称是。后来，经过慧黠之徒从旁窥测，才了解到隋炀帝说这话，是因为担心还有杨玄感的余党混迹于都中。其实臣民的叛乱，全仗国君从善慰抚，哪是一味嗜杀所能治平的？并且隋炀帝喜杀吝赏，十分刻薄。先前荡平杨玄感时，他只赏主帅，不赏副将；这次固守雁门的将士共计一万七千人，大家都浴血奋战，才取得最后的胜利，然而事后，隋炀帝只赏了一千五百人，与在雁门所颁布的谕旨全然不符。将士便觉得王言似戏，有所抱怨，樊子盖为众人请愿，说不能失信于人。隋炀帝脸色一变，冷冷地说：“你想收揽人心吗？”樊子盖碰了一个钉子，哪还敢再多说。自此，军心大散，将士们都不似从前那么忠诚。
回到东都后，隋炀帝始终不愿意回关中，整天沉迷于酒色，灌黄汤，偎红颜，不顾性命地恣情欢悦。只是一人的精力有限，哪能把数千美女一一召幸？临幸的美人原是不少，没临幸的也有很多。一天，内侍呈上一个锦囊，里面装着不少诗笺。隋炀帝随意抽出几张看了起来，只见那上面的字迹十分秀丽，诗意又极哀伤，让人禁不住想轻轻吟诵。第一张纸上面是首自感诗：
庭绝玉辇迹，芳草渐成窠。隐隐闻箫鼓，君恩何处多？欲泣不成泪，悲来强自歌。庭花方烂漫，无计奈春何？春阴正无际，独步意如何？不及闲花草，翻承雨露多。
隋炀帝读完，不禁大惊道：“这明明是埋怨朕呀！能写这样辞章的女子，一定也具有美貌，怎么朕竟不知道她？”再看第二张纸，上面写的是梅花：
砌雪无消日，卷帘时自颦。庭梅对我有怜意，先露枝头一点春。香清寒艳好，谁惜是天真？玉梅谢后和阳至，散与群芳自在春。
隋炀帝忙看第三张纸，有首妆成诗：
妆成多自惜，梦好却成悲，不及杨花意，春来到处飞。
还有首自伤诗：
初入承明殿，深深报未央。长门七八载，无复见君王。春寒侵入骨，独卧愁空房。飒履步庭下，幽怀空感伤。平日新爱惜，自待聊非常。色美反成弃，命薄何可量？君恩实疏远，妾意待彷徨。家岂无骨肉，偏亲老北堂。此方无双翼，何计出高墙？性命诚所重，弃割良可伤。悬帛朱梁上，肝肠如沸汤。引颈又自惜，有若丝牵肠。毅然就死地，从此归冥乡。
隋炀帝看到这首诗，不觉惊叫起来：“难道她已经死了吗？”忙问内侍说：“这锦囊到底是谁的？”内侍回答说：“这是宫女侯氏遗物，她已自缢身亡了。”隋炀帝潸然泪下，看起了手中第四张纸上面的诗：
秘洞扃仙卉，幽窗锁玉人。毛君真可戮，不肯写昭君。
一读到这首诗，隋炀帝转悲为怒道：“原来是这厮误事。来人，给朕把他捉来！”侍卫忙问捉拿什么人，隋炀帝说是内监许廷辅。等侍卫离开，隋炀帝又问内侍说：“侯女死在哪里？”内侍忙回答说：“在显仁宫。”隋炀帝忙赶入宫中，内侍把他引入侯氏的寝室。只见静静躺在那里的侯女含着一副愁容，两腮上的红晕好似一朵带露的娇花，不曾敛艳。隋炀帝顿足道：“美人虽然已去，但仍美得如同桃花。真让人痛恨！真让人怜惜！”