杨广面对当前的局势已经有了力不从心的感觉，感受到一种前所未有的焦虑。
据史书记载，早在第一次远征高句丽时，杨广已经出现了这样的症状，“每夜眠恒惊悸，云有贼，令数妇人摇抚，乃得眠”，夜里睡觉，总是突然一下子就吓醒了，醒了之后就大喊有贼，得好几个妇女在身边拍着他、摇着他，才能再次入睡。
大业十二年(616年)，杨广这个症状更严重了，经常因为一点小事自己吓自己。当年四月，洛阳的大业殿西院发生火灾，杨广的第一反应居然以为是起义军已经打进宫里来了，连滚带爬地跑到宫殿后面西苑的草丛之中躲了起来，直到火彻底扑灭，才战战兢兢地重新回到宫里。
这一年的元旦，对杨广来说是最冷清的一个新年，一个外国使臣都没来，就连各地官员来的也不多，原因是各地起义军的阻隔。看着冷冷清清的朝堂，杨广产生了深深的幻灭感，他觉得自己如此努力，到头来却换了个四大皆空的结局，与其这样，为什么还要努力呢？人生苦短，还不如及时行乐。
如何行乐呢？杨广想到了江都。一贯察言观色的宇文述再次猜中了杨广的心思，建议离开东都前往江都，一览江南美景。杨广想都没想，欣然同意。一些大臣觉得实在太荒唐，如今内忧外患，应该回大兴城重整朝纲，怎么能跑去江南看风景呢？右侯卫大将军赵才进谏说：
“今百姓疲劳，府藏空竭，盗贼蜂起，禁令不行。愿陛下还京师，安兆庶，臣虽愚蔽，敢以死请。”如今百姓穷困，府库空虚，盗贼蜂起，禁令不行，希望陛下能回京都安抚百姓臣僚。言外之意洛阳都不能待了，更别说江都了。杨广听后勃然大怒，下令将赵才关入监狱。
这样的处罚算是轻的。有个小官员建节尉任宗上书极力劝阻，被杨广在朝堂上当众杖杀。另一个奉信郎崔民象上表说，如今天下盗贼横行，皇上不应出游。杨广闻言，怒火中烧，“先解其颐，然后斩之”，先卸掉崔民象的下巴，然后再将其斩杀。
杨广执意要下江都，已经到了人挡杀人、佛挡杀佛的地步。没有人再敢站出来提反对意见，只有来护儿出于忠心劝道：“如今天下大乱，不是陛下巡游之时。您应留在洛阳，指挥大军平定战乱。”杨广虽然很生气，但来护儿毕竟是心腹，所以并没有处罚他，但是以一连数日不召见他表达自己的不满。后来杨广怒气稍解，召来护儿入见，对他道：“连你都这样想，我还有什么指望？”来护儿不敢再说话了。
杨广对来护儿说的话很有玩味，好像此次决意下江都不是为了散心或逃避，而是在下一盘大棋。不得不说，杨广确实有这方面的考虑。如今天下大乱，反贼四起，接连遭遇了高句丽之败和雁门之围，他觉得已经没有可能恢复原来的局面，如今首先需要考虑的是如何自保。
如何自保呢？在群臣看来，回到大兴城是最佳方案，即使形势再坏，毕竟还可以凭借关中险要地势阻挡起义军。但杨广却不这样认为，他清醒地认识到关中地区对自己的支持力量有限。自从登基以后，他不是四处巡游就是待在洛阳，在大兴城的时间满打满算也就一年的时间。
不仅如此，杨广一直有“重南轻北”的情结。登基以后，重用的大臣除了杨素、宇文述等少数几位外，他更信任在扬州总管时的藩邸旧臣，从文官到武官，杨广提拔了一大批江南人士，其中包括虞世基、裴蕴、来护儿等。这使得隋文帝时代高层政治圈占绝对主流的关陇贵族受到排挤，高颎、贺若弼、宇文弼甚至因“讥讽朝政”而被杀。
事实上，长期以来杨广一直和关陇集团进行暗战，他即位仅一年，即下令大规模兴建东都，建成后迁都洛阳，很大因素是这方面的考虑。长安的关陇本土势力盘根错节，很难铲除。但洛阳不同，地处隋朝中心地带，在这里能够摆脱关陇贵族的束缚，做一个真正的皇帝。
另外，他实行了爵位和勋官改革。在杨广之前，勋官的爵位靠军功来获得，地位很高，关陇集团中很多成员都是勋官，一旦获得爵位，就能享受很多政治和经济方面的优待，因此关陇集团很看重勋官。但杨广继位不久后，就开始对爵位和勋官进行大刀阔斧的改革，勋官变成了一种荣誉称号，附加在勋官上的政治和经济的优待被弱化了，此举极大损害了关陇集团成员的利益。杨广还首创科举进士，中下层地主甚至部分贫寒子弟，从此可通过读书应考登上仕途，目的也是限制和打击昔日豪族垄断政治的局面。另外，杨广凿穿大运河在实现南北沟通的同时，也在一定程度上降低了对关陇地区的依赖。
杨广为什么如此打压关陇贵族？史书上没有给出答案，或许是想摆脱关陇集团的束缚，不愿意皇权被其他家族分享。抑或是因为他的子孙还年幼且懦弱，害怕日后没有人能镇得住关陇贵族，会有人效仿他的父亲杨坚图谋篡位，说到底就是为了维护和加强皇权。
杨广上台后不断削弱关陇集团的影响力，由此引发了关陇集团强烈的反击，典型的例子就是杨玄感叛乱。杨玄感叛乱的时候，站在台上举行誓师大会，他说的第一句话就是“我身为上柱国”，这五个字是有讲究的。因为杨广改革了勋官制度，所以杨玄感这一句话就是要强调自己的身份，唤起关陇集团成员的共鸣，促使一大批关陇人士在这次反叛中站到了杨玄感一边。
因此，在杨广心中江南才是他的安身立命之地。在成为皇帝之前，他经略江南十几年，在这个“福地”夺嫡成功。当年江南叛乱后，为了安抚人心，他在这里采取了一系列措施，赢得了江南士人和百姓的拥护。相比于关中和中原，这里有更多的人支持他，如果能在江南站稳脚跟，最差的结局也会像南朝一样划江而治，如果搞得好的话，甚至可以重整旗鼓，打回中原去，收复所有失地。
杨广决心已下，一方面令王世充抓紧赶制龙舟，因为先前的龙舟在杨玄感叛乱时都被烧毁了；另一方面开始做撤离的准备。宫中的女人太多，不可能全部带走，对于无法随行的妃嫔宫女，杨广特意做了一首告别诗：“我梦江南好，征辽亦偶然。但存颜色在，离别只今年。”我做梦都向往江南的美好，随军征讨高句丽只不过偶然兴起而已，你们要好好保养自己美丽的容颜，我明年就会回来。
第一句确实是杨广的心里话，但第二句则是典型的自我安慰了。三征高句丽搞得灰头土脸，以至于要去江南躲避，哪里像他说的那般轻松。此去江南能否还能回来，杨广心里根本没底，后两句算是宽慰这些女子的话。
龙舟准备完毕后，杨广第三次起身下江南，这次规模虽然远不如上两次，但还是带了不少人，包括皇亲国戚、后妃宫女、文武官员、僧尼道士以及禁军骁果等。杨广令代王杨侑留守大兴城，越王杨侗留守东都洛阳，当时他的这两个孙子只有十几岁。如此乱局中，杨广将大兴城和洛阳留给两个未成年的孩子，说明他已经铁了心要放弃北方了。
杨广此次南巡的情景与以往完全不同，过去是走走停停，饱览沿途美景，各地争相献上美酒美食，他快活得不得了。这次一路走来传来的都是各地造反的消息，还有许多“不解风情”的官员或百姓拦路上书，请求杨广不要南下。半途中，从九品小官奉信郎王仁爱上表以“盗贼日盛”，请求杨广返回大兴城，杨广毫不客气地将王仁爱斩首。走到梁郡(今河南商丘)时，又有百姓上书：“陛下若遂幸江都，天下非陛下所有。”杨广觉得国家大事，哪里容得小民插嘴，下令将其砍头。
在前往江都的路途上，有一天夜里，杨广听到一首民谣，歌中唱道：“我兄征辽东，饿死青山下。今我挽龙舟，又困隋堤道。方今天下饥，路粮无些小。前去三千程，此身安可保？寒骨枕荒沙，幽魂泣烟草。悲损门内妻，望断吾家老。安得义男儿，焚此无主尸。引其孤魂回，负其白骨归！”
这首名为《挽舟者歌》的歌谣，是以为龙舟拉纤者的口吻所写，歌词大意是：我的兄长征讨辽东，却饿死在青山之下。如今我替皇帝拉纤，又困在隋堤的官道上。现在天下都没有粮食了，我是在饿着肚子往前走，可江都距离还很远，我肯定到不了那里，就会饿死在半路上。死了以后，我的尸骨将被抛撒在荒郊野外，任凭风吹日晒；游荡异乡的孤魂，将在烟雾荒草间哭泣。家中的妻子，将因悲伤而哭坏身体；父母双亲将因盼我归去而望穿双眼。只希望能有个义气男儿，将我这无人认领的尸体焚烧，把我的骸骨运回乡里，将我的亡灵引渡回家。
据笔记《海山记》记载，杨广听后派人去找唱歌的人，但始终没有查出来。无论这个故事是真是假，但歌中那种凄凄切切的情绪是真实的，杨广好大喜功、穷兵黩武、骄奢淫逸给百姓带来了极其深重的灾难，这首歌集中抒发了天下民众对暴政的控诉。
虽然各地造反已成星火燎原之势，但一路上心情黯淡的杨广还是顺利到达了江都。刚到不久，又传来一个坏消息，他所倚重的宇文述去世了。宇文述是杨广的老部下，在帮助夺取太子之位中立了大功。杨广登基后，他南征北战，从吐谷浑到高句丽再到突厥，立下不少军功。
虽然能征善战，但宇文述却是一个佞臣，用《隋书》中的话说：“君所谓可，亦曰可焉；君所谓不，亦曰不焉。无所是非，不能轻重，默默苟容，偷安高位，甘素餐之责，受彼己之讥。此固君子所不为，亦丘明之深耻也。”只会揣摩上意，一味说杨广爱听的，在治国理政方面不仅没有出过什么好主意，反而还陷害了不少好人。同时，他生性贪婪，疯狂敛财，隋朝走向败亡，其中也有他的“贡献”。
对于宇文述的病情，杨广很是上心，不断派人探问，并打算亲自去看望，后被大臣苦劝才没有去。看到宇文述来日不多，杨广派司宫魏氏问宇文述有无托付之事，“必有不讳，欲何所言？”表示一定满足他的临终心愿。
当时宇文述的儿子宇文化及因为犯法而被削职为民，待在家里无所事事，宇文述最后的请求是：“化及，臣之长子，早预藩邸，愿陛下哀怜之。”希望杨广能可怜宇文化及，让他官复原职。杨广听到宇文述的遗言后潸然泪下，说道：“吾不忘也。”
宇文述的葬礼搞得很隆重，杨广下诏为之罢朝，并赠宇文述司徒、尚书令、十郡太守，给他一个很不错的谥号——“恭”。并令黄门侍郎裴矩主持公祭，鸿胪寺监护丧事。遵照宇文述的遗愿，杨广重新起用了他的两个儿子，宇文化及为右卫屯将军，宇文智及为将作少监。杨广打死也不会想到，自己最后正是死于宇文兄弟之手，正所谓“天道轮回，造化弄人”。
杨广丢弃北方躲到江都后，天下更是乱成了一锅粥。四处狼烟，遍地烽火，各路义军已经席卷天下。在这些义军中，势力比较大的是翟让和李密领导的瓦岗军，窦建德领导的河北起义军，以及杜伏威、辅公弼领导的江淮起义军。在这三支队伍中，势力最强、影响最大的无疑是瓦岗军。
瓦岗军的创始人叫作翟让，他是东郡韦城(今河南滑县)人。起初担任东郡法曹，后来不知道因为犯了什么罪被判处死刑。狱吏黄君汉认为翟让是条汉子，夜里悄悄对翟让说：“天时人事，也许是可以预料的，哪能在监狱里等死呢？”翟让又惊又喜，说：“我如今就好比关在圈里的牲口，生死只能听从您的吩咐了。”黄君汉舍命打开枷锁，放了翟让。
翟让再三拜谢，但又担心连累黄君汉，流着泪说：“我蒙受您的再生之恩，得以幸免，但您怎么办呢？”没想到，黄君汉生气地说：“我本以为你是个大丈夫，可以拯救黎民百姓，所以才冒死来解救你，你怎么却像儿女子弟一样以涕泪来表示感谢呢？你就努力设法逃脱吧，不要管我了！”翟让这才逃走，逃亡到瓦岗(今河南滑县东南)落草为王。
翟让到了瓦岗寨后，很快有两个得力助手来投奔。一个是同郡的单雄信，此人骁勇矫健，擅长骑马使矛，号称“飞将”，他还招集一些年轻人前去投奔翟让。另一个叫作徐世，字懋功，后改名李，他和其他走投无路逼上梁山的人不同，投奔瓦岗不是因为活不下去。恰恰相反，徐世家本是富豪，史称其“家多僮仆，积粟数千钟”，但他和他父亲徐盖并不是守财奴，而是乐善好施之人，“拯济贫乏，不问亲疏”，经常救济贫苦人，不论关系亲疏。
徐世来投奔瓦岗军，大概是因为理想，想趁天下大乱干一番大事业。他到了瓦岗寨后，很快便显示出与众不同的才干。徐世觉得一直待在瓦岗寨，靠在当地劫掠为生没有什么前途，于是劝翟让说：“附近是您与我的家乡，乡里乡亲，不宜侵扰。宋、郑两州临近御河，商旅众多，去那里劫掠官私钱物非常方便。”翟让觉得有理，便带着人马进入荥阳、梁郡的地界，在运河上劫取公私财物，收益颇丰。有钱就不缺人，前来投奔翟让的越来越多，很快就发展到一万多人。
尽管队伍越来越庞大，但说到底还是靠打劫为生的盗贼，真正让这支队伍发生脱胎换骨的变化，成为真正意义上的起义军，是因为来了一位关键人物——李密。
李密成功逃脱后，先是投奔平原县的义军头目郝孝德，但这位头领是位粗人，对满腹经纶的李密看不上眼，态度上也不恭敬，李密觉得待在这里没前途，于是选择了离开。接下来，李密投奔了王薄的起义军，同样不受待见。他没办法，只能继续漂泊，穷困潦倒，一路上只能以剥树皮、挖草根为生，到了淮阳郡，实在走不动了，只好隐姓埋名，自称刘智远，招收徒弟讲学，做起了讲书先生。
虽然暂时安定下来，但李密志存高远，当下的生活根本不是他想要的，所以心中颇感郁闷，写下了一首五言诗《淮阳感怀》：“金风荡初节，玉露凋晚林。此夕穷涂士，郁陶伤寸心。野平葭苇合，村荒藜藿深。眺听良多感，徙倚独沾襟。沾襟何所为？怅然怀古意。秦俗犹未平，汉道将何冀？樊哙市井徒，萧何刀笔吏。一朝时运会，千古传名谥。寄言世上雄，虚生真可愧。”李密联想到秦末汉初的历史风云，开始羡慕起樊哙和萧何。说樊哙不过是个市井之徒，萧何不过是一个刀笔小吏，但是他们却在历史上留下了自己的名字，以此提醒自己千万要珍惜机会，不能虚度一生。
李密虽然在诗中为自己打气，但如今似乎看不到任何希望。杨玄感不听自己的意见，兵败而亡，同时连累自己失去了施展才干的舞台，想到这些，心里更为悲伤，因此写完这首诗后，竟然痛哭流涕，不能自已。
纸终究包不住火，有人觉得李密根本就不像一个普通教书先生，于是向淮阳太守赵佗告发，赵佗派兵前来捉拿，李密提前听到风声，又一次成功逃脱。李密接着逃到了妹夫丘君明那里避难，丘君明当时任雍丘县令，见到大舅哥来了，顿时吓了一跳。李密是朝廷捉拿的钦犯，丘君明不敢收留他，但又不忍心将他送去官府，只好将李密送到好友王季才那里。
王季才是个游侠，平日就喜欢结交豪杰好汉，因此对李密非常欣赏，不仅收留了他，还把女儿嫁给了他。李密总算安定下来，但好景不长，丘君明的侄子丘怀义告发了李密，官军前来捉拿，正巧李密有事外出不在家，得知消息后赶紧逃跑，又成功躲过一劫。但是他的妻子，以及王季才和丘君明都被诛杀。
李密走投无路，前来投奔瓦岗军。有人知道李密曾经是杨玄感的旧部，便怂恿翟让杀了他，翟让没有听从，下令把李密关押在军营之外。
李密只能自救，他通过瓦岗军将领王伯当向翟让带话说：“当今主昏于上，人怨于下，锐兵尽于辽东，和亲绝于突厥，方乃巡游扬、越，委弃京都，此亦刘、项奋起之会，以足下之雄才大略，士马精勇，席卷二京，诛暴灭虐，则隋氏之不足亡也。”别看李密一直在逃亡，但对天下大势了然于胸。这段话的意思是如今皇帝昏庸，百姓怨恨，在辽东用光了精锐部队，和突厥断绝了友好关系，眼下正在巡视扬州、越州，撇下了洛阳、长安，这也是像刘邦、项羽那样争夺天下的时机。凭您的雄才大略，精兵强将，夺取洛阳、长安，消灭凶残势力，那么灭亡隋朝绰绰有余。
这席话让翟让茅塞顿开，原本只是占山为王，如今李密却给他规划了一个宏伟蓝图，顿时觉得李密是个难得的人才，赶紧把他放了，并进一步征询他的意见，该如何做才能实现这样的目标。李密继而说：“今兵众既多，粮无所出，若旷日持久，则人马困弊，大敌一临，死亡无日矣！未若直取荥阳，休兵馆谷，待士勇马肥，然后与人争利。”现在人马已经很多，但是没有地方弄到粮草，如果长久耽搁下去，就会人困马乏，大敌一到，要不了几天我们就会失败。不如直接夺取荥阳，休整部队筹集粮草，等到兵强马壮，然后去跟别人争夺天下。
翟让深以为然，不过李密想法虽好，但要想攻克荥阳并非易事，首先要过隋朝大将张须陀这关。张须陀作战勇猛，曾击溃过不少起义军，翟让也是他的手下败将。翟让听说张须陀前来镇守荥阳，心里颇感畏惧，想放弃原来的计划。李密劝他万万不能撤军，说：“须陀勇而无谋，兵又骤胜，既骄且狠，可一战而擒也，吾为公破之。”张须陀是比较勇猛，但是这个人没有谋略。又因为他打了很多胜仗，所以就会很冒进，要想打败他只要稍微排兵布阵就可以。
李密说得轻松，但心里不是很有底，毕竟张须陀熟读兵书，勇猛过人，当年更是以五人之力抵挡住两万多的农民起义军。河北、山东、河南、安徽、江苏等地的起义军无不闻风丧胆，号称隋朝第一名将。不过，狭路相逢勇者胜，李密想着至少先打一仗，大不了再跑一回路。翟让虽然半信半疑，但李密既然这样说了，他也不好再认，硬着头皮摆开阵势在荥阳大海寺准备与隋军决战。李密率领数千骑兵埋伏在大海寺北树林内。
张须陀根本不把翟让这个手下败将放在眼里，一声令下，全线出击。翟让的农民军果然立马溃不成军，纷纷丢下武器往回跑。张须陀哪里肯放过这么好的机会，指挥大军紧追不舍。追到北树林时，发现情形不太对劲，就在此时，李密率领伏兵从林中杀出，刚才还是抱头鼠窜的翟让立马掉头冲回来，前后夹击，隋军大败。
张须陀不愧是一员猛将，他力战杀出重围，但见部下仍然被围，立即又拍马杀回。反复几次，救出了很多人，可他身上也中了很多箭。张须陀仰天长叹道：“兵败到了这种地步，哪还有脸面见天子呢？”于是下马与敌军交战，力竭后被杀。张须陀战死后，他部下的士兵将领日夜哭泣，数日不止。不败的名将终于败了，而他唯一的败仗却成为他最后的一仗！
这一仗立下头功的是李密，正是他力劝翟让不要退兵，并施展计谋消灭了不可一世的张须陀，李密在瓦岗军中的威望直线上升。此仗过后，翟让让李密单独统领一支队伍，名为“蒲山公营”。李密对这支队伍极为重视，军容严整，令行禁止。李密自己节衣缩食，将金银都分发给部下，因此，人人都愿意为他效命。李密的命运由此发生转折，从走投无路的投靠者变成了和翟让平起平坐的瓦岗军头领。
李密从此在军中发挥了更重要的作用，不久他向翟让提出新的建议，说：“昏主蒙尘，播荡吴、越，群兵竞起，海内饥荒。明公以英杰之才，而统骁雄之旅，宜当廓清天下，诛剪群凶，岂可求食草间，常为小盗而已！今东都士庶，中外离心，留守诸官，政令不一。明公亲率大众，直掩兴洛仓，发粟以赈穷乏，远近孰不归附？百万之众，一朝可集，先发制人，此机不可失也！”
这段话的意思是说，如今皇上无道，在吴越一带躲起来，各地竞相起事，全国百姓正闹饥荒。您凭着杰出的才干，统率着骁勇强大的军队，应该平定天下，消灭各处敌兵，怎能躲藏在民间苟且偷生，永远当一个小小的流寇就了事呢？现在东都洛阳的士民百姓，里里外外离心离德，留守京城的官员，政令不能统一。您亲自统率强大的兵众，直接去袭击兴洛仓，散发粮食救济穷苦百姓，各地群众谁不归附？百万人马，一个早晨就能招集起来，抢先下手制服别人，这个时机不能错失！
李密给瓦岗军明确了下一步作战方向，之所以提出进攻洛阳的建议，是因为在李密看来，东都洛阳内部空虚，士兵缺乏训练，没有战斗力。留守东都的隋炀帝之孙越王杨侗年幼无知，士民离心离德。实际掌握大权的段达、王世充等隋朝旧将，勇而无谋，无法控制住局势。
翟让对此的反应有些出乎意料，他既没有采纳，也没有否决，而是说：“仆起陇亩之间，望不至此，必如所图，请君先发，仆领诸军便为后殿。得仓之日，当别议之。”我出身于农民，声望还没到这一步，一定要实现您所讲的目标，就请您率先出兵，我带上各支队伍作为后续力量，夺取兴洛仓后再作商议。
翟让在关键时刻变得谦虚起来，或许是因为李密确定的目标过于宏伟，他自己实施起来确实力不从心，与其这样，不如让李密放手一搏。从这点上看，翟让确实是一个老实人，没有嫉贤妒能，相反给了李密用武之地。
既然翟让这样表态，李密没有了后顾之忧，大业十三年(617年)春天，李密和翟让带领七千名精兵从阳城向北出发，跨过方山(今河南登封北)，从罗口袭击兴洛仓，没费什么力气便顺利攻克。然后，“开仓恣民所取，老弱负襁，道路不绝”，立即开仓放粮，附近的百姓扶老携幼来领粮食，吃饱肚子后纷纷要求参加瓦岗军，几天之内，队伍扩充到十几万人。
镇守东都洛阳的越王杨侗听闻兴洛仓被占，瓦岗军已经出现在眼皮子底下，于是派遣虎贲郎将刘长恭率领步兵骑兵二万五千人前来讨伐，被李密击败，刘长恭带着残兵败将狼狈逃回洛阳。
李密的声望此时暴涨。在他没有加入瓦岗军之前，这支队伍只是靠打劫为生的盗贼，小打小闹，没有整出什么大动静。而李密有胆有识，目光长远，他加入之后，出谋划策，抢抓战机，仗越打越大，人越打越多，一个胜利接着一个胜利，从瓦岗打到了荥阳，马上要打到洛阳，瓦岗军彻底改头换面，成为实力最强的一支义军。没有李密，就没有瓦岗军的今天。翟让意识到了这一点，李密的才干比自己强太多，如果还想取得更大的战绩，应该让李密统率瓦岗军。翟让于是主动让贤，把头把交椅让给了李密，推举李密当首领，称作魏公。
大业十三年(617年)二月，李密在巩县(今河南巩义)城南郊外设立祭坛，祭天登位，年号称作永平元年，下发的文书落款为行军元帅魏公府。授予翟让司徒官衔，封为东郡公。任命单雄信为左武侯大将军，徐世为右武侯大将军，祖君彦为记室，其余的人各按等级授予官职。
再说窦建德的河北起义军。窦建德是贝州漳南(今河北故城)人，他为人非常仗义，是有名的“及时雨”，这并非浪得虚名，在他身上发生了许多感人的故事。
在窦建德年轻时，曾经有个同乡死了父母，家境贫寒无力安葬，当时他正在耕田，听到此事后二话没说，立即放下农活，主动送去办理丧事所需要的全部财物。这样“做好事”的实例一桩又一桩，使得窦建德名声大噪，深得当地人的崇敬。他父亲去世时，送葬的竟然有一千多人。
窦建德走上造反之路，也是因为仗义，这与一个人有关。此人名叫孙安祖，他和窦建德是老乡，杨广第一次征伐高句丽时，征发男丁当兵，窦建德被征召并被委任为二百人长。孙安祖也被征召，但恰逢家里遭了水灾，老婆孩子因饥饿而死。孙安祖以家庭贫穷为由不愿入伍，向漳南县令当面求情，县令不仅不同意，还大发脾气狠狠打他，孙安祖杀死县令，逃跑投奔窦建德。
窦建德收留了孙安祖，但觉得他总躲在自己这里不是长久之计，于是和孙安祖说：“今年发生水灾，百姓贫困，但皇上不体恤民情，要亲自到辽东督战，加上往年西征，损伤的元气还没有恢复，百姓疲劳困乏，连年征战，长年在外的人不能回家，如今又要出兵，容易酿成动乱。男子汉大丈夫只要不死，就该建功立业，怎能只去当仓皇逃跑的俘虏啊。高鸡泊面积辽阔，方圆几百里，湖沼上的蒲草又密又深，可以到那里去隐藏起来，找机会出来抢劫，不仅能够养活自己，将来拉起人马，等待时局动荡，必然干出一番惊天动地的大事业。”孙安祖觉得有理，招集引诱逃避征兵和没有家产的，得到了几百人，跑到高鸡泊落草为寇。
与此同时，有个叫高士达的起兵造反，在清河郡一带活动。说来也怪，当时往来于漳南县境的各股盗贼，到处抢劫放火，唯独不到窦建德的家乡骚扰。因此官府推定窦建德跟盗匪们相互勾结，拘捕了他的家属，不论老少都杀掉了。窦建德听到全家被杀光，率领手下的两百人逃跑并投靠了高士达。不久后，孙安祖在内讧中被杀，他原来的数千手下转而投奔窦建德，队伍不断壮大，很快发展到一万多人。
大业十二年(616年)，涿州通守郭绚率领一万多人马到高鸡泊讨伐高士达。没和正规军交过手的高士达心里感到慌乱，觉得自己的智慧谋略不如窦建德，就提升他为军司马，把军权全部交给了窦建德。
窦建德迎来了施展军事才能的机会。他没有选择正面硬抗，而是使出了“苦肉计”，假装跟高士达闹矛盾。高士达积极配合演戏，对外宣扬说窦建德叛逃，还拉出一名俘虏来的女人诈说成窦建德的妻子，当着部队的面杀掉。戏演得差不多了，窦建德派人送信给郭绚请求投降，愿意当先头部队，打败高士达来为自己报仇。郭绚信以为真，带着队伍大摇大摆来和窦建德会合。窦建德乘其不备发动突袭，大败郭绚，杀死俘获几千人，得到战马一千多匹。郭绚带着几十个人逃走，窦建德派遣部将一直追赶到平原县，斩下他的首级进献给高士达，窦建德由此一战成名。
很快更大的考验来了，太仆卿杨义臣率领一万多人消灭了张金称的义军后，乘胜来进攻高士达。窦建德和高士达建议说：“数遍隋朝的所有将领，会打仗的只有杨义臣。他刚刚打败张金称来进攻我们，锐气不可抵挡，请带着军队避开他们，使他们想打又打不到，拖他几个月，等隋军将士们疲劳厌倦了，乘机打他个猝不及防，这样才能夺取胜利。如果眼下跟他争高低，只怕抵挡不住。”或许是因为上次窦建德大败郭绚，让高士达觉得隋军也就那么回事，所以没有听窦建德的。
高士达留下窦建德守卫大本营，自己率领精兵迎战杨义臣。初战告捷，更加重了高士达的轻敌思想，居然在阵前纵情喝酒大摆筵席。窦建德得知后非常担心，说：“东海公(高士达)还没有打败敌人就自高自大，灾祸过不了几天就会来了。隋朝的军队乘胜追击，必然打到这里，到时人心震惊恐惧，怕是守不住了。”于是留下部分人马守卫军营，自己带领精兵强将一百多人占据险要位置，以防高士达吃败仗。
果不其然，杨义臣大败高士达，高士达在战场上被杀。窦建德身边的人马听说高士达战死，也都四散逃跑，无奈之下窦建德带着一百多人逃到了饶阳(今河北饶阳)。等杨义臣走后，窦建德重新返回战场，收拾掩埋了跟随高士达战死士卒的遗体，还为高士达举行了葬礼，全军穿起白色的丧服。又招集逃散的士卒，得到几千人，重新组建了队伍，窦建德开始自称将军。
窦建德从此改变了策略，过去义军只要抓住了隋朝官员和当地士绅全都杀掉，但他却反其道行之，对这些人以礼相待。于是，一些州县官员纷纷献城投降，窦建德的队伍得以迅速扩大。大业十三年(617年)正月，窦建德在河间、乐寿两县的交界处设立祭坛举行典礼，自称长乐王，年号就用这年的干支“丁丑”，并设置机构委任官吏。
最后说说杜伏威、辅公祏的江淮起义军。杜伏威是齐州章丘(今山东省济南市章丘区)人，家里经济条件不好，但他本人也不想着经营谋生之业，以至于“家贫无以自给”，吃了上顿没下顿。杜伏威为了解决温饱问题，选择了一条捷径，直接做了贼人，经常穿壁翻墙偷东西。
辅公祏是杜伏威的生死之交。辅公祏的姑姑家以牧羊为业，看到好兄弟经常饿肚子，辅公祏将姑姑家的羊偷走送给杜伏威改善生活。如果仅仅偷一次很难发现，但架不住辅公祏一而再再而三，最后被姑姑发现了，一气之下去报了官，官府下令捉拿，杜伏威和辅公祏一起逃走。
两人聚了一帮人直接开始了打家劫舍，虽然名声不好听，但至少可以解决温饱问题。这一年，杜伏威只有十六岁，或是因为步入社会早，别看他年龄小，颇有老大的风范，“常营护诸盗，出则居前，入则殿后”，每一次行动总是冲在前面，撤退殿后，在群盗中威望越来越高，最终被推举为首领。
不过，杜伏威觉得这些小打小闹没有前途，当时天下大乱，杜伏威和辅公祏决定去投奔长白山(今山东章丘境内)义军头领左君行。但左君行根本看不起他们，得不到重用的两人离开了左君行，“转掠淮南，自称将军”，到淮南一带劫掠，杜伏威自称将军，开始独立竖起反隋的大旗。
杜伏威在这里打开了局面，手下的人马扩充到上万人。不过，江淮一带隋朝的力量比较强大，起义的队伍也不少，如果不能尽快壮大，就很有可能被吞并或消灭。杜伏威于是想方设法寻找机会去联合和吞并附近的其他起义军。
杜伏威的目光首先瞄向了苗海潮的起义军，这支队伍的人马要比杜伏威和辅公祏多一些。杜伏威派人给苗海潮带话说：“你我都苦于隋政，才起兵举事，但是都势单力薄，无法和官军抗衡，要是咱俩联合起来就不用惧怕官兵了。如果你能当头领，我们听你指挥，如果你没这个本事，就听我们指挥。要不然咱俩打一仗，谁胜了谁就做老大。”这番话说得很有水平，既说明了利害关系，言语中又带了些许威胁。苗海潮早听说杜伏威打仗不要命，同时被这席话的气势所镇住，带着自己的全部人马归附了。
不久，另一个义军头领赵破阵也派人来了，不过不是像苗海潮一样请求归附，而是要求杜伏威听他的。杜伏威将计就计，让辅公祏率兵在外严阵以待，他亲自带领十个将士带着牛肉和酒进去拜见。赵破阵非常高兴，拉着杜伏威进入营帐内，举行大宴会并尽情痛饮。杜伏威在席上斩杀了赵破阵，然后兼并了他的队伍。从此，杜伏威实力大增，率军纵横江淮，已经威胁到了江都的安全。江都留守派校尉宋颢前来镇压，杜伏威用计将隋军引入芦苇荡中，放火将宋颢烧死，用火攻大败隋军。
就在杜伏威蒸蒸日上时，没想到却摔了一个不小的跟头。大业十一年(615年)十月，东海李子通率所部万余人来淮南投靠杜伏威。李子通原本是义军左相才的部下，但是因为能力比较强，被左相才所嫉妒，待不下去便率部来投奔杜伏威。
杜伏威看到队伍一下子多了一万多人，非常高兴地接纳了李子通。但李子通是个胸有大志不肯屈居人下的人，他想吞并杜伏威的队伍，自己做老大。于是找了一个机会，突然发动兵变，杜伏威措手不及，在李子通的追杀下身负重伤。关键时刻，杜伏威的养子兼大将王雄诞背负他藏匿到芦苇丛中，侥幸躲过了追杀。
屋漏偏逢连夜雨，就在杜伏威养伤期间，隋军前来进攻，杜伏威无法亲自指挥，结果被隋军大败。其部将西门君仪的妻子背着杜伏威夺路而逃，王雄诞领着敢死队拼命断后，杜伏威这才逃得一命。
经过这两次死里逃生，杜伏威元气大伤，身边只剩下千把人，不得已只能躲进山里，四处游击，不断吸收流民加入以扩充势力。经过半年的恢复，杜伏威又有了数万人，控制了江都附近的六合作为根据地。
大业十二年(616年)，杨广离开洛阳前往江都，杜伏威部正好就在江都眼皮底下，为了保证杨广出巡安全，隋朝派出虎牙郎将公孙上哲率军前往镇压。双方在盐城(今江苏盐城)大战一场，结果公孙上哲部被全歼。朝廷并不甘心，誓要拔掉杜伏威这颗“眼中钉”，随后，派遣大将陈棱带八千精锐进行讨伐，陈棱的军队训练和器械远强于杜军，杜伏威连连失利。但陈棱兵力不多，无法彻底剿灭杜伏威，双方打成僵持局面。
当年发生了灾荒，老百姓先是吃树皮树叶，后来竟然煮土为食，“诸物皆尽，乃自相食”。大量百姓揭竿而起，杜伏威乘机吸收了大批饥民，势力迅速膨胀。杜伏威与陈棱强弱之势由此发生倒转，于是杜伏威主动挑战。陈棱知道战局不利，因此龟缩不出。杜伏威采取激将法，“遗棱妇人之服以激怒之，并致书号为‘陈姥’”，派使者给陈送了一套妇女衣裳和一封信，信中称呼陈棱为“陈姥”，就是陈老太太的意思。
陈棱果然被激怒，发兵攻打杜伏威，这正是杜伏威求之不得的。这一仗打得十分激烈，杜伏威亲自上阵，一马当先，但却被一员隋将暗箭射中，鲜血直流。杜伏威大怒道：“不杀了你，箭矢不拔！”然后径直冲杀过去，将发箭的那个射手斩于马下。然后提着此人的首级杀入敌阵，连续杀了几十人，隋军士气大挫，最后全军覆没。陈棱单骑逃回江都，杜伏威趁势扩大战果，占据了高邮、历阳等重镇，并在历阳自称总管，封辅公祏为长史。
杜伏威号令所到之处，江淮间各路小起义军争相归附，郡县纷纷投降。“尽有江东、淮南之地，南接于岭，东至于海”，成为隋末起义军中实力较强的一个。