为了征讨高丽，隋廷征兵索粮，以致百姓困苦不堪，百姓只好铤而走险，相聚为盗。于是平原、济阴、齐郡、北海、河间、渤海等地相继传来警讯。暴客饥民相随趋集，有的地方甚至聚集十多万人，他们四处剽掠，所过村邑尽为废墟。地方官吏与贼众接战，往往败退。唯独齐郡骁勇果决的张须陁击败贼寇，取得一点成就。但群盗如毛，山东糜烂，单靠张须陁一支军队，也只能保护一方，不可能四面兼顾。隋炀帝虽有所耳闻，但觉得都是些小贼，不足为虑，所以再次东征。哪知有个勋臣的后裔也乘势揭竿，在黎阳起兵，这下隋炀帝惶急起来，不得不放弃到手的战果，回头处理国事。
在黎阳起事的究竟是什么人呢？原来就是楚国公杨素的儿子杨玄感。杨玄感体貌雄伟，擅长骑射，并且喜好交游。蒲山郡公李密的祖辈是北周的将领，他的父亲李宽又是隋初的柱国，李密承袭父亲的爵位，并在隋廷中担任左亲侍一职，他与杨玄感是患难与共的朋友。李密睿智而机敏，他曾对杨玄感说：“临阵决胜，我不如你；居内运筹，你却不如我。”杨玄感十分叹服他的话，因而两人非常要好。
当时，礼部尚书杨玄感奉命在黎阳督办粮饷，他听说山东盗贼四起，料知天下从此多事，又想到父亲死时，隋炀帝曾说杨素如果不死，定会灭他九族，因而十分忧虑。虎贲郎将王仲伯、汲郡赞治赵怀义趁机劝他谋变，杨玄感于是故意让粮船逗留，迟迟不肯发往涿郡，以伺机起兵。同时秘密召回从征辽东的弟弟武贲郎将杨玄纵、鹰扬郎将杨万硕，还有留在京师的小弟杨玄挺以及李密。刚巧将军来护儿调集水兵自东莱入海，即将抵达平壤。杨玄感一面密遣家奴绕道进入平壤城，散播谣言说来护儿愆期谋反，以煽惑人心；一面进入黎阳城募兵，并以讨伐来护儿为名，召集邻近各郡的兵士。同时任命赵怀义为卫州刺史，东光县尉元务本为黎州刺史，河内主簿唐袆为怀州刺史。唐袆不肯受令，暗地逃回。与杨玄感一同督办粮饷的御史游元对他的举动也很不赞同，杨玄感见无法说服他，便把他杀死了。
组建了一支由五千名运粮壮丁以及三千名船夫构成的军队，杨玄感誓众说：“当今的天子如此暴虐，视民命如草芥，我们还要继续忍受他摧残吗？那些从征辽东的兄弟们战死无数，我们还能见死不救吗？今天，我与你们并肩奋战，伐无道，救百姓，你们愿意吗？”众人踊跃听命。杨玄感大喜，当即部署军队。正巧李密与杨玄挺一同赶来，杨玄感忙将李密迎入营帐，向他问计。李密回答说：“天子远在辽东，如果出其不意地长驱入蓟，扼住咽喉，高丽得知我国内变，必定从后偷袭。不出十天，东征的各军就会因粮资匮乏而不得不投降，就算不投降，也必定溃散。这是上策。”杨玄感忙问：“中策呢？”李密继续说：“关中为都城所在，如果率众西行，路上不攻打别的城池，直取长安，那时就算天子回朝，也为时已晚。占据长安后，据险临敌，进可战，退可守。这不失为中策。”杨玄感又问：“剩下的就是下策了吗？”李密点头说：“如果就近攻打东都，一举拿下它的话，也足以号令四方。但只怕东都那些人，早已从唐袆那儿得知大人起事的消息，并抢先固守，若是率兵攻打东都，只会贻误战机。说不定不等拿下东都，就遭遇天下兵马的四面包围，那时大势一去，我也无能为力了！”杨玄感笑着说：“眼下文武百官的家属都在东都，我如果拿下东都，先声夺人，东征的官吏绝对不寒而栗。所以你的下策，其实是上策。长驱入蓟，太过冒险；攻打关中，又有些迂远。并且一路上只顾行军，不去攻打城池，这怎么能示威呢？”杨玄感于是没有依李密的计策，竟带着众人径直杀向洛阳。果然东都这边早有防备，杨玄感极尽精锐攻城，但留守东都的樊子盖也不示弱，一守一攻，杀伤相当。
留守长安的代王杨侑听说东都被围，忙派刑部尚书卫文升前去援救。杨玄感用羸兵弱卒把卫文升引到埋伏中，一声号鼓，杀死卫文升兵无数。三天后，两军再次交战。刚刚拼杀到一块儿，杨玄感就让人大声呼喝：“官军已经抓获杨玄感了！”卫文升兵莫名其妙，东张西望，杨玄感却带领数千名精骑突然杀入卫文升阵内。一场厮杀，卫文升兵死了一大半，只剩下八千人，保护着卫文升，狼狈退去。自此，杨玄感兵威大震，越来越多的人愿意投到他麾下。没过多久，八千人的队伍摇身一变，竟成了十万大军。
随同隋炀帝东征的右武侯大将军李子雄，因受到猜疑而逃回洛阳，投靠杨玄感，并劝杨玄感称帝。杨玄感转问李密，李密回答说：“尽管极有可能遭到杨公的猜忌，但我还是要说，请不要称帝！试想自黎阳起兵以来，虽然取得数场胜利，但杨公究竟未定一郡，未服一县，这样称尊的话，未免让人不服。况且现在我们还没有攻克东都，而天下救兵即将到来，如果不挺身力战，早定关中，到时不要说尊位，就是我们的身家性命也说不定保不住。还请杨公三思！”杨玄感冷笑无言，虽然不再提称尊的事情，但心中不免存有芥蒂，于是渐渐疏远李密，把元福嗣当成心腹。元福嗣每次参与谋划都首鼠两端，李密忙劝谏杨玄感说：“元福嗣并没有从心底成为我们的同盟，他一直在作壁上观啊！杨公如果要成就一番大事业，就不能让这种奸人留在身边，还请明断，趁早杀了他！”杨玄感摇头说：“你说得也太过了，福嗣还不至于像你说的那样。”李密无奈地退去，对亲信说：“忠言逆耳！杨公不信我的话，反而将匪贼视为亲信，恐怕将来我们都逃不了成为俘虏的命运。”
不久，隋炀帝返回涿郡，发兵四逼，令武贲郎将陈稜攻打黎阳，武卫将军屈突通进逼河阳，左翊卫大将军宇文述继进，右骁卫大将军来护儿又从东莱援应，就是两战两败的卫文升也收拾余众，屯驻邙山南面，与杨玄感一天数斗。杨玄感的弟弟杨玄挺伤势过重，死在军中。杨玄感这才有些惊惧，又听说屈突通的兵马即将杀到，他忙依李子雄的计策发兵拦阻通晓军事的屈突通过河，偏偏东都樊子盖又出兵骚扰。眼看着屈突通率领大军长驱而来，于是东有屈突通，西有卫文升，再加上樊子盖的夹攻，三路动手，就算杨玄感再怎么骁勇，也招架不住，三战三败，无法支持。杨玄感又向李子雄问计，李子雄建议攻打关中。杨玄感当即引军西行，不料途中他因贪图近利，而停止前进，攻打弘农宫，急得李密直叹气。三天后，屈突通、宇文述等人率大军陆续追来，杨玄感不得不撤退，边战边行。路过董杜原时，追兵围困杨军，杨玄感大败，仅率十几名骑兵窜入林木间。辗转到葭芦戍，杨玄感饥渴交迫，自知难免一死，回头一看，只剩弟弟杨积善一人。杨玄感哭着对弟弟说：“一败至此，我还能说什么？我不能忍受别人的侮辱，你杀了我吧。”杨积善一时无法狠下心来，忽然见后面尘头大起，料知又有官军追来，他忙抽刀砍死杨玄感，准备自杀，偏偏手颤刀落，只能由着已经逼到面前的追兵带走。杨玄感的弟弟中，只有杨玄纵逃脱，但不知下落；而杨玄感的朋党中，只有李密一人逃去。
隋炀帝还想杀尽杨玄感的党羽，令大理卿郑善果到东都从严勘查。郑善果不管三七二十一，只要和杨玄感有牵连，他便下令斩杀。一时间，竟有三万多人遇害。跟随隋炀帝东征的兵部侍郎斛斯政，因曾与杨玄感暗地通谋，忙逃入高丽。斛斯政与弘化留守元弘嗣是姻亲关系，隋炀帝因斛斯政逃亡，便也怀疑起元弘嗣，当即令卫尉少卿李渊去捉拿元弘嗣。元弘嗣入狱后，李渊担任弘化留守。卫尉少卿李渊是陇西郡成纪人，表字叔德，生得仪表堂堂，气宇不凡。他的祖父就是西凉武昭王李嵩的七世孙，名叫李虎。李虎因辅助宇文氏创建北周天下，得到大野氏的赐姓，死后还被追封为唐公，他的儿子李鄅袭爵。李渊承袭父亲李鄅唐公的爵位，在朝中担任卫尉少卿一职。李渊留守弘化，便是唐朝发展的初基。隋炀帝又怎么能预料后事呢？他以为李渊忠心耿直，便挑选他外出任职。那时，李渊也确实效忠，依诏奉行。
隋炀帝从涿郡安安稳稳地到了长安，但全国的盗贼仍是此起彼伏。追剿了一段时间“伪天子”、“假弥勒”，隋炀帝又记挂起自己的东征了。面对闹得不可开交的内乱，隋炀帝却以为是刁民作乱，不足为患，仍旧下诏征天下军兵东征，群臣都不敢进谏。
大业十年仲春，隋炀帝再次前往涿郡，一路上士兵相继逃亡。好不容易到了怀远镇，已是夏尽秋来，前锋来护儿率兵在卑沙城大破高丽兵。高丽兵败奔平壤，来护儿当然追逼，途中遇到前来请降的高丽使者，说是愿意送还斛斯政。来护儿忙请示隋炀帝，隋炀帝大喜，当即令他带着斛斯政班师。来护儿、高丽使臣、斛斯政一到涿郡，隋炀帝立即令将士奏凯入关，随后将罪犯斛斯政献告太庙。大将军宇文述上奏说：“斛斯政犯了谋逆、叛国的大罪，为天地所不容，为人神所共弃，如果只照国法处死，陛下怎么能惩戒乱贼呢？还请陛下变例处置！”隋炀帝允准，先让人把斛斯政押出金光门，捆绑在柱子上，令公卿百僚轮流放箭，等到斛斯政被射成刺猬，再让人肢解尸体，最后割肉烹煮，把烹煮好的肉分给百官。百官大多暗地抛掉，只有几个佞臣媚吏捧着肉大嚼大咽。高丽使臣带着隋主的谕旨回国。隋炀帝等了好久，始终不见高丽国王朝贡，便再次令将帅整顿兵马，更图后举，但也是有名无实，随口说说而已。
国内越来越纷乱，隋炀帝仍不以为意，又想离开长安，巡幸东都。太史令庾质谏阻他说：“三次伐辽，使得民生凋敝，陛下此时应镇抚关内，让百姓把全副心思放在农桑上面。三、五年后，百姓的生活稍微丰实些，陛下再出巡东都比较好。”隋炀帝听后十分不舒服，决心东幸。庾质便借口身体不适，不肯随行，隋炀帝大怒，当即把他打入监狱，让他饿死。一回到东都，三千粉黛又各使出狐媚手段，挑逗隋炀帝。隋炀帝当然愿意长醉温柔乡里。
大业十一年，江都丞王世充与齐郡丞张须陁大破齐郡贼人孟让，并扫平余贼。隋炀帝高兴地封王世充为江都通守，张须陁为河南讨捕大使。不久，又有涿郡人卢明月作乱，张须陁在得力战将罗士信与秦琼的辅助下大破卢明月的十万大军，再次立功。