大业十一年(615年)的元旦，对于杨广来讲，心情极为黯淡。本来他想利用这个机会展示征伐高句丽的丰功伟绩，但高元的爽约，使得一切都落空了。按照惯例，这天要举行大朝会，杨广要接受文武百官和四方蛮夷的朝贡，高句丽没有派朝贡使者来，其他各国朝贡的使者来了一些，不过与其说是朝见，不如说是来看笑话的。而且被赶跑的吐谷浑王伏允也趁机“复其故地，屡寇河右”，隋朝的“国际地位”遭遇断崖式下坠。
一向好面子的杨广，强撑着完成既定的程序。回到长乐宫，实在按捺不住郁闷的心情，饮酒大醉，赋了一首五言诗，其中写道：“徒有归飞心，无复因风力。”杨广令宫中美人吟唱，边听边泪湿衣襟，一旁的侍者也跟着掉眼泪，这位雄才大略的帝王第一次对自己产生了怀疑。
就在这个节骨眼上，一则谶语流传开来，说“当有李氏应为天子”，如果换作以前的杨广，恐怕不会在意这些，但经历了三征高句丽的失败以及杨玄感的叛乱，他的那份自信早已荡然无存，变得越发的敏感和脆弱，因此对这句话保持了高度的警觉。
不过，这里说的李氏是谁呢？总不能把天下姓李的都杀了。杨广将重点怀疑对象放在外甥女婿李敏身上，他是杨广姐姐杨丽华为女儿宇文娥英精挑细选的夫婿，杨广答应了杨丽华的临终请求，让他继承了食邑，并在朝中担任光禄大夫。
杨广为什么会怀疑他呢？主要因为在李姓贵族中，李敏的地位最高。还有一个原因是李敏名字的问题，因为他还有一个小名叫“洪儿”，杨广曾听父亲隋文帝说做过一个梦，梦到洪水把大兴城给淹了，李洪这个小名又让杨广联想到了这个梦。
杨广把李敏召来，当面告诉他自己的忧虑，李敏一听吓坏了，要知道名字图谶，自己就变成了图谋不轨的嫌疑犯，这下摊上大事了。李敏担惊受怕，想不出好的破解方法，只好找自己的堂叔李浑和堂兄李善衡商量对策。
李浑是隋朝开国功臣申国公李穆的第十子，李穆深得隋文帝器重，被拜为太师，在《隋书》的列传中，李穆名列第一。李家上下都受到了恩典。杨广还是晋王时，李浑便跟随他，成为深受信任的藩邸旧臣。由于长子李惇早亡，李穆死后，由李惇的儿子李筠继承了申国公的爵位。
李浑对侄子继承爵位大为不满，再加上李筠对他态度不好，这让李浑更加难以忍受，于是派了另一个侄子李善衡将其谋害。由于李浑还有一个侄子李瞿昙与李筠关系恶劣，李浑就嫁祸于李瞿昙，说其为了报仇杀掉了李筠，还没有搞清楚怎么回事的李瞿昙成了冤死鬼。
但令李浑失望的是，即便杀了李筠，由于自己只排行老十，按理也轮不上继承爵位。李浑于是找到杨广身边的红人宇文述，请他出面帮忙说话。他们之间有亲戚关系，李浑的妻子是宇文述的妹妹，换句话说，李浑是宇文述的妹夫。
李浑向宇文述承诺事成以后，以封邑税赋的一半作为酬谢。宇文述听到有如此厚重的回报，再加上这一层亲戚关系，当即答应。宇文述是杨广的心腹，经过他的运作，李浑如愿以偿地继承了申国公的爵位。但此后李浑只顾自己花天酒地，搜求美女珍玩，对于答应宇文述的事情故意装傻充愣，迟迟没有兑现。这搞得宇文述非常生气，立下了毒誓：“我竟为李金才所卖，死且不忘！”“金才”是李浑的字，说自己到死也不会放过李浑。
但是想报复李浑并非易事，因为隋文帝赐给了李穆丹书铁劵，“自今以后，虽有愆罪，但非谋逆，纵有百死，终不推问”。李穆一家只要不是谋反叛逆，纵然有一百个死罪，也不会加以审问并追究刑责。
“当有李氏应为天子”流传时，宇文述敏感地意识到机会来了，他和杨广说：“李浑经常与李敏等人商议事情，有时候谈到天亮。李浑是朝廷重臣，手里掌管着禁军，陛下不可不小心。”本来就对李敏有怀疑，这话更加引起了杨广的警觉，他下令让宇文述暗中调查，宇文述抓住机会，让武贲郎将裴仁基诬陷李浑谋反。
杨广下令将李浑、李敏全家抓捕入狱，但是审问了好几天，仍然得不到确凿的证据。宇文述改变了策略，直接提审李敏的妻子宇文娥英，对她说：“您是皇帝的外甥女，不愁找不到更好的男人。李浑、李敏都是应了图谶的人，皇上铁定要杀他们，已经无力回天了，您应该想办法自我保全，只要听我的，保证不受牵连。”
宇文娥英是金玉之身，哪里受得住牢狱之苦，听宇文述这样一说便服软了，表示一切都听宇文述的。宇文述让宇文娥英招供说：“李家确实想谋反，李浑曾经找李敏说，你的名字应了那个谶语，以后一定会当皇帝，我可以帮你做成这件事。现在趁着陛下失去人心，征讨高句丽失败的时候，正是动手的好时机。我们带人突袭杨广的御营，一日之内，大事可成。”
杨广看到外甥女的招供状，既愤怒又伤心，他不知道是宇文述在中间捣鬼，拉着宇文述的手哭着说：“吾宗社几倾，赖亲家公而获全耳。”由于杨广的女儿嫁给了宇文述的儿子，两人是儿女亲家，杨广的意思是说如果没有宇文述，江山社稷就完蛋了。
杨广下令诛杀李敏、李浑等二十三人，其余有亲戚关系的，无论年龄大小，都被流放到岭南。宇文娥英作为污点证人，暂时没有受到处罚，但最终也难逃厄运，几个月后被赐毒药自尽，杨丽华一家彻底断根。
杨广在这件事上做得有些过头，不仅让姐姐杨丽华一家断后，而且又得罪了关陇贵族。因为李氏家族是关陇集团中头号功臣的贵戚家族，连这样的家族成员杨广说杀就杀，难免搞得关陇贵族人人自危。杨玄感之乱已经暴露出彼此间的矛盾，杨广不仅没有及时弥合，反而杀掉了李敏、李浑，这样更加剧了分裂。
收拾完李姓内患后，不愿意待在宫中的杨广又一次准备出巡，这次还是往北，去突厥的地界。在到处都有民变的情况下，做这样的事情确实有些匪夷所思，不过却相当符合杨广的个性，经历了高句丽的失败，想到突厥人的地盘重新找回那种至高无上的感觉。
杨广非常清楚地记得上次北巡的盛况，启民可汗特意为他修了一条长长的御道，各部落心甘情愿地向大隋臣服，那种感觉好极了。不过，杨广这次注定无法重温旧梦，因为东突厥的大头领换人了。大业五年(609年)，启民可汗去世，他的儿子咄吉成为新可汗，称为始毕可汗。
始毕可汗和他父亲不同，很有理想抱负，决定重振突厥雄风。经过几年的苦心经营，东突厥逐渐强盛起来，重新对隋朝构成了威胁。这引起了杨广的不安。裴矩给他出主意，建议还是用过去行之有效的方法，从内部分裂突厥。他建议将宗室女子嫁给始毕可汗的弟弟叱吉设，并封其为南面可汗，挑动兄弟内斗，坐收渔翁之利。但令杨广和裴矩失望的是，叱吉设的胆子太小，根本不敢答应，这事也就告吹了。始毕可汗后来知道此事，心中对隋朝产生了怨恨。
接着发生了一件事，更把始毕可汗惹急了。裴矩一计不成又来一计，他向杨广进言说：“突厥人本来很单纯，容易离间。但却有不少狡猾的西域胡人为他们出谋划策，其中一个叫作史蜀胡悉的最为诡计多端，备受始毕可汗信任，必须除掉此人。”杨广同意，让裴矩负责具体实施。
裴矩使诈，派人给史蜀胡悉传话说：“天子大出珍物，今在马邑，欲共蕃内多作交关。若前来者，即得好物。”隋朝皇帝拿出许多珍宝到马邑进行互市，谁要是早来，谁就能先得，来得越早，得到的越多。这显然是裴矩抛出的一个诱饵，史蜀胡悉还真上钩了，“胡悉贪而信之，不告始毕，率其部落，尽驱六畜，星驰争进，冀先互市”。史蜀胡悉没有告诉始毕可汗，带着自己的部众，赶来马邑互市，想着先到先得。裴矩早就做了准备，史蜀胡悉到了马邑，刚准备交易的时候，埋伏在马邑周围的隋军突然一下子冲出来把史蜀胡悉和他的部众全部杀光了。
如果暗中做了，神不知鬼不觉，也不会有多严重的后果。但杨广却大张旗鼓地给始毕可汗写了一封信，说：“史蜀胡悉忽领部落走来至此，云背可汗，请我容纳。突厥既是我臣，彼有背叛，我当共杀。今已斩之，故令往报。”意思是说史蜀胡悉背叛始毕可汗，所以我把他杀了。始毕可汗当然不信，对隋朝更为不满，“由是不朝”，从此不再向隋朝朝贡。
杨广就是在这样的情势下开始北巡，大业十一年(615年)八月，他带着后宫嫔妃、文武百官、僧尼道士等出发了，连同护卫部队一共有十几万人。始毕可汗闻讯带着几十万骑兵赶来，他不是来迎接，而是来报复。
杨广一路上心情尚好，浑然不知巨大危险将要降临，直至走到雁门时接到一份密信，才知道大事不好。给他通风报信的是始毕可汗的妻子义成公主。这位公主是隋朝宗室之女，开皇十九年(599年)，启民可汗的夫人安义公主去世后，隋文帝将其嫁给了启民可汗。启民可汗去世后，按照突厥的规矩，又嫁给了始毕可汗。她得知了始毕可汗的军事计划，赶紧派使者给杨广送信，告诉他情势危急，不能再往前走了。
杨广接到义成公主密报，吓出了一身冷汗，迅速率部驰入雁门(郡治雁门，今山西代县)，齐王杨暕率本部人马进入崞县(今山西原平北崞阳镇)。始毕可汗来势汹汹，很快将雁门郡的四十一座城池攻陷了三十九座，仅余雁门、崞县两城。眼看胜利就在眼前，始毕可汗下令加大攻势，一时间箭如雨下，有些箭矢甚至落到了杨广脚下。
杨广在此之前从来没有遭遇过这样的情况，第一次感受到了死亡的威胁。惊恐之下，抱着最小的儿子赵王杨杲失声痛哭起来，竟然眼睛都哭肿了。群臣们一时不知所措，因为他们从来没有看到过当今皇上哭鼻子，而且哭得如此伤心，谁能想到，曾经志得意满、不可一世的杨广，居然沦落成今天这副模样。
只是眼泪解决不了任何问题，当务之急是如何尽快摆脱困境，但谈何容易。除了敌众我寡外，还有一个更致命的问题，粮草也所剩无几，至多只能维持二十天。换句话说，如果不能在二十日内突围，只能坐以待毙了。
该如何办呢？杨广擦干眼泪将随行的大臣召集起来，让大家商议办法。宇文述第一个站出来建议杨广亲率精锐，杀出重围，突围而去。老臣苏威表示坚决反对，他说：“城守则我有余力，轻骑乃彼之所长，陛下万乘之主，岂宜轻动！”皇帝是九五之尊，怎么能冒如此大的风险？况且突厥人精于野战，隋军善于守城，这样做正中敌人下怀，最好的方法还是固守待援。虞世基和民部尚书樊子盖都赞成坚守雁门城，并建议用高官重赏来激励将士，同时保证不再对高句丽用兵，这样才能鼓舞士气，抵住突厥的攻击。
固守待援成为普遍共识，不过，光死守也不是办法。杨广的小舅子内史侍郎萧瑀建议走夫人路线，派人联络义成公主，让她说服始毕可汗退兵。萧瑀一定是受了汉高祖的启发，当年刘邦在白登山被匈奴人围了七天七夜，正是采纳陈平的建议，用重金收买冒顿单于的夫人阏氏，最终才成功突围。萧瑀认为完全可以仿效，更何况义成公主心向大隋，成功的概率很大。
杨广采纳了群臣的意见，一方面派人去做义成公主的工作，另一方面下令各地发兵勤王。为了鼓舞士气，杨广亲自巡视慰问守城士卒，勉励他们道：“努力击贼，苟能保全，凡在行陈，勿忧富贵，必不使有司弄刀笔破汝勋劳。”只要能够成功守住城池，富贵的事情不用考虑，一定会重重加赏。并下令“守城有功者，无官直除六品，赐物百段；有官以次增益”。过去没有官职的，可以直接升为六品官，还要赐布匹一百段。如果已经有官职的，从六品的基础上再往上加。
杨广的承诺力度足够大，效果也很明显。“于是众皆踊跃，昼夜拒战，死伤甚众”，军民士气大涨，个个摩拳擦掌，拼死抵抗突厥的进攻，雁门城牢牢掌握在隋军手中。各地援兵接到诏命，纷纷出动驰援雁门，在忻口(今山西新县北)集结。
夫人路线走得也很成功，义成公主见到隋朝使者非常激动，表示一定会想方设法为杨广解围。她派人向始毕可汗报告说“北方有急”，说草原有变，后院起火。始毕可汗明知义成公主所言可能有假，但考虑到雁门守军誓死抵抗，一时半会儿无法攻克，而隋军各路援兵纷纷抵进，再打下去，自己可能被反包围。况且，此战已经让杨广见识到厉害，于是见好就收，下令撤军。
九月十五日，东突厥起兵撤围而去，杨广提到嗓子眼的心终于放下了。不过，虽然消除了危险，但刚从鬼门关走了一遭的杨广却高兴不起来，相反他的情绪坏到了极点。想想上次北巡风光无限，如今连一向臣服的东突厥也反了。如果说征伐高句丽的失败让杨广第一次对自己产生了怀疑，而此次雁门被围，则让他产生了一种深深的失望。这些年来，所有的努力似乎都付之东流，到头来竹篮打水一场空。他没想到，竟然有一天会抱着自己的儿子失声痛哭，杨广的自信心遭受了前所未有的打击，从此开始一蹶不振。
大业十一年(615年)九月，杨广的车驾到达太原，在这里稍作休整。大臣纷纷劝说杨广尽快返回大兴城，如今天下大乱，当务之急是把京城守好。苏威说：“今者盗贼不止，士马疲敝，愿陛下还京师，深根固本，为社稷之计。”不过，杨广对此却显得很犹豫，宇文述察言观色，觉得杨广另有心思，便说：“从官妻子多在东都，宜便道回洛阳，自潼关而入。”就是说随从百官的家眷大多在东都洛阳，请陛下先前往洛阳将他们接上，然后由潼关返回大兴城。
杨广正是这个意思，本来就不想回大兴城，宇文述如此说，正中下怀，其他人也不好反驳，于是返回东都洛阳。回到洛阳后，按理说首先要做的是论功行赏，杨广在雁门城许了承诺，现在是兑现的时候了。跟随回到东都的将士们都在盼着这件事，但是由于当时承诺的条件过于优厚，负责操办此事的苏威有不同意见，他说：“威追论勋格太重，宜加斟酌”，这样的奖赏，国库很难承担，还要再商议一下。樊子盖不干了，君子之言驷马难追，何况是皇上说的话。如果失信于将士，以后谁还会为朝廷卖命？为此，两人争执了起来，杨广站到了苏威一边，对樊子盖说了一句：“公欲收物情邪！”你难道想拿这些赏赐收买人心吗？此言一出，吓得樊子盖再也不敢说话了。
最后的赏赐如何呢？“将士守雁门者万七千人，至是，得勋者才千五百人，皆准平玄感勋，一战得第一勋者进一阶，其先无戎秩者止得立信尉，三战得第一勋者至秉义尉，其在行陈而无勋者四战进一阶，亦无赐。”参加雁门之战的将士一共有一万七千人，最后得到勋位的才有一千五百人，都是比照平定杨玄感的标准：打一仗得第一功的晋升一级，此前没有军职的人仅授予立信尉的职位；打三仗得第一功的授予秉义尉，那些虽然参加战斗但没有立功的人打四仗才能晋升一级。立信尉是个从九品官，这与杨广承诺的从六品起步相去甚远，至于答应给每个人赏赐的一百段布匹，更是一笔勾销。
将士们对此当然非常生气，杨广在雁门城上信誓旦旦，没想到作为皇帝居然言而无信。更让他们感到愤怒的是，杨广当时还答应不会再攻伐高句丽，如今又开始商议征伐事宜，也就是说杨广答应的没有一件事能够办到。
同样感受到杨广过河拆桥的还有他的小舅子萧瑀，当初正是他劝说杨广走夫人路线，才赢得了一线生机。同时也是他劝谏杨广公开宣布不再征伐高句丽，如今杨广又动了远征的念头，首先要扫除的就是萧瑀这个障碍。杨广对群臣说：“突厥狂悖，势何能为！少时未散，萧瑀遽相恐动，情不可恕！”杨广倒打一耙，说突厥猖狂侵扰又能怎么样，趁没有解围，萧瑀就恐吓我改变主意，这件事不能宽恕。于是下令将萧瑀贬为河池郡守，并且让他当天就离开京城。
关于雁门之围的后续处置就此结束，杨广成了地地道道的失败者，不仅身陷险境，受到巨大惊吓，以至于从此逃避政事，破罐子破摔，而且让手下的将士寒了心，最终导致了众叛亲离。
下一个感到寒心的是老臣苏威。杨广回到洛阳后，问起各地造反的事情，宇文述一贯粉饰太平，说：“盗贼很少，不足为虑。”杨广听后很高兴，又问苏威相关情况，苏威不想说假话，所以藏到一个宫殿柱子后面。没想到杨广执意问他的意见，苏威婉转说道：“我不管这件事情，所以不知道盗贼到底有多少，只是担心他们越来越近。”杨广问他什么意思，苏威说：“盗贼过去远在长白山一带，现在连荥阳附近也出现了盗贼。”他的回答惹得杨广很不高兴，瞬间变了脸色，其他大臣见状不敢再多说什么。
不久后，恰逢五月初五，按照规矩，百官都要献礼，别人进献的都是珍宝奇玩，只有苏威献上了一部《尚书》，旨在劝诫杨广实施仁政。杨广觉得苏威太扫兴了，对其更感不满。过了不长时间，杨广又问他讨伐辽东之事，苏威建议赦免群聚的盗贼，让他们讨伐高句丽。杨广最烦听到盗贼的事情，苏威这是哪壶不开提哪壶，又一次激怒了杨广。
苏威的倒霉日子很快到来了，御史大夫裴蕴看到苏威屡屡犯上，搞得杨广很不开心。于是，他见风使舵，唆使一个叫作张行本的平民告发苏威，罪状有两条：一是当年苏威在高阳郡主持选拔官员时，利用职权滥授别人官职；二是说苏威害怕突厥，在雁门之围后，一再请求回到京师。裴蕴不出面，指使一个平头百姓诬告苏威，手法实在有些粗糙。张行本哪里会知道苏威滥用职权私授官职，更不可能知道苏威劝谏杨广回大兴城的事情，但这并不重要，杨广只需要一个人开口举报即可。
杨广随即下令调查这些事，这不过是走个程序，调查结案时，杨广下诏说：“苏威生性热衷于朋党，好为异端，心中怀揣旁门左道，贪图名利，污蔑国家法令，诽谤朝廷官员。多年征伐外国，是为了尊奉先皇的遗志。凡有询问，朝臣们都能毫无保留地陈述意见，只有苏威不表示态度，作为人臣发挥不了应有的作用，怎么能这样呢？”于是解除了他的官职，将他贬为庶民。
过了一个多月，有人告发苏威与突厥勾结阴谋举事，大理寺因此审问苏威。苏威争取主动，表示自己侍奉二朝三十多年，所犯各种错误接连不断，实在罪该万死。杨广见他主动认错，心生怜悯，下令释放他，但苏威从此远离了政坛。
苏威凉了，杨广很快也要凉了。