四处的烽火让在江都的杨广烦心不已。大业十三年(617年)七月传来的一个消息，让他更加感到愤懑，甚至有些绝望。这个噩耗是在晋阳的太原留守李渊也起兵造反了。杨广之所以如此激动，是因为他和李渊不仅是君臣，还是亲戚。他的母亲和李渊的母亲是亲姐妹，都是独孤信的女儿，换句话说，他们是表兄弟。
李渊的出身很显赫，他的祖父李虎是西魏的八柱国之一，被封为唐国公。父亲李昞袭封爵位，是北周的御史大夫、安州总管、柱国大将军。只不过，李渊七岁时父亲就去世了，他袭封为唐国公。隋朝建立之初，隋文帝任命李渊为千牛备身，也就是皇帝的禁卫武官。由于特殊的身份，隋文帝对这个外甥很器重，照顾有加。李渊和杨广年龄相仿，常有来往。
李渊历任谯(今安徽亳州)、岐(今陕西凤翔)、陇(今陕西陇县)三州刺史。这应该是隋文帝有意为之，让他辗转多地进行历练。杨广登基后，李渊先后做了荥阳(今河南荥阳)、楼烦(今山西静乐)两个郡的太守，后来又被征入朝任殿内少监。后又调任卫尉少卿，掌管宫廷禁卫事，开始由文官转任武职。
杨广征伐高句丽时，李渊受命督运粮草。杨玄感发动叛乱后，他奉杨广之命镇守弘化郡(今甘肃庆阳)。李渊这个人好交朋友，“倜傥豁达，任性真率，宽仁容众，无贵贱咸得其欢心”。为人洒脱，性格开朗，待人宽容，无论贵贱之人都得其欢心。在弘化郡，李渊广交天下豪杰，这引起了杨广的猜疑。
有一次杨广出巡途中，召李渊到行宫觐见，李渊因病没有去，这让杨广大为不满。恰好李渊的外甥女王氏在后宫做妃子，杨广问王氏：“你的舅舅怎么迟迟不来？”王氏回答说李渊病了，杨广追问：“病的要死了吗？”这话传到李渊的耳中，让他顿时感到后背发凉，深感恐惧，“因纵酒沉湎，纳贿以混其迹焉”，为了自保搞起了“自污”，不仅天天无节制地饮酒，而且拼命地收受贿络。
李渊这样做，效果还算不错。大业十一年(615年)，李渊调任山西河东慰抚大使，就在这一年，发生了杨广雁门被围事件。由于李渊离得近，所以在各路勤王大军中到得比较早，因为表现突出，杨广暂时打消了对他的猜疑，李渊得以升为右骁卫将军。大业十三年(617年)，李渊正式任太原留守、晋阳宫监，成为这一地区最高的军政长官。
关于李渊为什么会起兵，根据后来唐朝的史料记载，李渊原本并不想造反，主要是因为次子李世民不断的规劝和运作，才使得李渊下定了起事的决心。
李世民是如何运作的呢？史料记载，他看到天下烽火四起，认定隋朝灭亡已成定数，觉得是时候起兵造反、逐鹿中原了。但是单凭他的力量不可能做成这件事，必须要说服父亲李渊。只是谈何容易，除了君臣之义，李渊还是杨广的表哥。就在李世民犯难时，有个人给他出了主意，此人叫作刘文静，当时任晋阳县的县令。
史书上说刘文静“伟姿仪，有器干，倜傥多权略”，不仅长得帅，而且很有才干，非常善谋略。他觉得李世民与众不同，是能做大事的人，对左右说：“非常人也。大度类于汉高，神武同于魏祖，其年虽少，乃天纵矣。”李世民豁达大度，神武雄豪，是汉高帝、魏太祖一流的人物，对其非常看好。
刘文静赏识李世民，投桃报李，李世民对他也很尊敬。刘文静因与瓦岗军头领李密有姻亲关系，受到牵连，被关进了监狱。李世民认为刘文静可以共谋大事，便去狱中探望，并向他询问对时局的看法。
刘文静说：“天下大乱了，只有商汤、周武王、汉高祖、光武帝之才方能平定。”李世民对此说道：“卿安知无？但恐常人不能别耳。今入禁所相看，非儿女之情相忧而已。时事如此，故来与君图举大计，请善筹其事。”这番话很有意思，李世民说你怎么知道没有，只是你没有看出来而已，话里话外是说自己有这样的才能，所以想听听刘文静的真知灼见。
刘文静看到李世民态度真诚，敞开心扉说：“今李密长围洛邑，主上流播淮南，大贼连州郡、小盗阻泽山者，万数矣，但须真主驱驾取之。诚能应天顺人，举旗大呼，则四海不足定也。今太原百姓避盗贼者，皆入此城。文静为令数年，知其豪杰，一朝啸集，可得十万人，尊公所领之兵，复且数万，君言出口，谁敢不从？乘虚入关，号令天下，不盈半岁，帝业可成。”如今李密围攻洛阳，皇帝远在淮南，各地义军数以万计，跨州连郡、阻碍山泽。如能顺天应人，高举义旗，则天下不难平定。而今避乱的百姓都来到太原城中，一旦聚集起来，可得十万之众，令尊所领之兵也有数万，君言出口，谁敢不从？到时乘虚入关，号令天下，不到半年，帝业可成。李世民对这次沟通非常满意，“君言正合人意”，古有隆中对、汉中对，这次可以称之为“狱中对”。
但如何才能说服李渊呢？刘文静给李世民推荐了一个人，此人叫作裴寂，时任太原宫监。他和李渊的关系很好，经常在一起喝小酒，如果能让裴寂出面，成功的可能性比较大。
李世民知道裴寂有个弱点，便是喜欢赌博，便私下拿出数百万钱财，交给龙山县令高斌廉，让其在赌博时故意输给裴寂。就在裴寂赢了钱心情大好的时候，李世民找到裴寂，告诉他这些钱是专门让高斌廉输给他的，希望裴寂能帮一个忙，接着以实情相告，“寂即许诺”，裴寂很爽快地答应了。
于是，历史上非常著名的一出“桃色事件”诞生了！
裴寂邀请李渊宴饮，喝得很开心，不知不觉李渊就喝高了。等李渊醉倒在床上后，裴寂偷偷将两名宫女送进寝室，陪李渊过夜。第二天清晨，李渊酒醒后发现身边躺着两个宫女，顿时吓出一身冷汗。因为晋阳宫是杨广的行宫，宫女是皇帝的女人，如今李渊睡了宫女，那可是杀头的大罪。
李渊喝得“断片”了，赶忙将裴寂找来，劈头盖脸地斥责了他一番，责问他为什么要陷害自己。裴寂乘势说：“二郎密缵兵马，欲举义旗，正为寂以宫人奉公，恐事发及诛，急为此耳。今天下大乱，城门之外，皆是盗贼。若守小节，旦夕死亡；若举义兵，必得天位。众情已协，公意如何？”二郎说的是李世民，裴寂说李渊这位二儿子暗中招兵买马，欲行大事。我私自让宫女侍奉您，如果事情泄露，一定会被皇帝诛杀。如今天下大乱，盗贼遍布天下。若守小节，难免一死，若举义兵，必能成事。您意下如何？李渊的答复说：“我儿诚有此计，既已定矣，可从之。”既然生米煮成熟饭了，也就只能这样了。
李渊果真是因为中了裴寂和李世民之计才下定起兵的决心吗？这里面要打一个大大的问号，这样说，有些太小瞧唐朝开国皇帝李渊了。
首先李渊并不是一个胆小怕事的窝囊废，《旧唐书》里记载了一件事：有史世良者，善相人，谓高祖曰：“公骨法非常，必为人主，愿自爱，勿忘鄙言。”相传李渊年轻的时候，找到当时有名的方士史世良测算，史世良说他骨法和常人不一样，日后必定会建立属于自己的王朝，希望李渊能好好保护好自己。面对如此觊觎之语，李渊并没有感到恐惧，相反，“高祖颇以自负”。
事实上，李渊不仅不是窝囊废，反而是个有勇有谋之人，他的箭法相当了得，留下了“雀屏中选”的典故。北周的上柱国窦毅要嫁女，但他认为自己的女儿不是等闲之辈，不仅相貌美丽，又有学识，必须要嫁给一个出色的夫君。于是在选婿时想了一个办法：让人在门屏上画了两只孔雀，凡是两箭各射中一只孔雀眼睛的，就招为女婿。前边几十人都没有射中，到李渊这儿两箭都射中了。窦毅欢喜不已，便将女儿嫁给了李渊，窦氏后来生下了李建成、李世民等出类拔萃的儿女。
还有一次，李渊率领十余人与数千盗匪相遇，他临危不惧，连射七十余箭，竟然无一虚发，盗贼们见状惊恐万分，四散而逃。其次，李渊对皇位并非没有想法，民间一直流传着一个叫作“唐公阿婆”的故事。一次宫廷宴会上，杨广看到李渊的脸上皱纹多，便戏称李渊是“阿婆面”。李渊听后非常不开心，回家后也神色沮丧。窦氏感到奇怪，询问李渊原因，他沉默良久，才说：“皇帝看着我说我是‘阿婆面’。”窦氏闻言，马上贺喜道：“这是值得庆贺的事。您继承的是唐国公爵位，‘唐’便是‘堂’，‘阿婆面’就是指‘堂主’啊！”窦氏暗指李渊将来要做皇帝，取代杨广。李渊听后，大为喜悦。不过，这个故事正史上没有，只是记载在《唐语林》里的《贤媛》中，真实性不太好说。
事实上，李渊一直以来是有野心的，正史上多有此类的记载。其一是李渊在担任河东抚慰使时，他的副使对他说：“今玉床摇动，帝座不安，参墟得岁，必有真人起于其分，非公而谁乎！主上猜忍，尤忌诸李，金才既死，公不思变通，必为之次矣。”劝他早做打算，抓住时机取杨广而代之。李渊什么态度呢？“帝感其言”，深以为然，非常赞赏。
其二是李渊获任太原留守后，对李世民说：“唐本就是我的封国，太原作为唐所在之地，这就是天赐良机，赐予却不取，灾祸将会来临。”这话说得再明白不过了，已经有了起兵的意图和想法。李渊并没有停留在口头上，还付之于行动，在镇压各路义军的过程中，他招降纳叛，并授意长子李建成在河东“潜结英俊”，让李世民也在晋阳暗中结交豪杰，招纳逃亡之人，网罗各种人才，为以后举事储备人才。
其三是李渊担任殿内少监，和宇文述的儿子宇文士及关系很好，彼此视对方为知己。李渊称帝后，宇文士及前来投奔，李渊对身边人说：“此人与我言天下事，至今已六七年矣，公辈皆在其后。”就是说宇文士及是和他讨论改朝换代的第一人。如果按照李渊所说，往前推六七年，还是大业九年(613年)左右，李渊在那时就有了篡位的想法。
李渊之所以没有如李世民那般着急，是因为他已经年过五十，做事更加沉稳，想着等万事俱备时再揭竿而起。在此之前，他必须要稳定后方。李渊曾说：“历山飞不破，突厥不和，无法经邦济时。”历山飞是一支义军，头领是魏刀儿，有十万之众。李渊到任以后，首先带兵在雀鼠谷击溃了活动于太原以南的历山飞别将甄翟儿部，稳定了山西的局势。
只是突厥人不好对付，李渊派副留守高君雅和马邑太守王仁恭出兵，却吃了个大败仗。消息传到江都，杨广大怒，派使者到太原下令斩杀王仁恭，让李渊去江都说清楚。这引发了李渊的巨大不安，不知道杨广会如何处罚，但无论如何，离开了自己的根据地，到了江都任杀任剐都是杨广说了算。
就在这个时候，李世民劝自己的父亲说：“今主昏国乱，尽忠无益。偏裨失律，而罪及明公。事已迫矣，宜早定计。且晋阳士马精强，宫监蓄积巨万，以兹举事，何患无成？代王幼冲，关中豪杰并起，未知所附，公若鼓行而西，抚而有之，如探囊中之物耳。奈何受单使之囚，坐取夷灭乎！”
意思是说，如今的朝廷昏乱，为这样的国君效忠没有任何意义，本来是父亲的手下打了败仗，却召您去问罪。现在的形势很危急，希望早下决心。太原兵强马壮，晋阳宫囤积了大量物资，以此举事，何愁不成功？起兵后直扑关中，镇守大兴城的代王杨侑，不过是一个十多岁的孩子，现在关中豪杰并起，但还没有一个领导核心，如果我们打过去，会成为最强的一支力量。到那时候，夺取天下就如探囊取物，为什么要去江都做囚犯，坐以待毙呢？
本来就有反意的李渊认为这话很有道理，于是决定造反。但就在将要举事时，恰好杨广派来使者传命赦免李渊和王仁恭，让他们官复原职。李渊得到赦免后，心里又有些犹豫，但箭在弦上，不得不发，身边的人都劝他起兵，李渊终于“雄断英谟，从此遂定”。
尽管决心已下，但李渊并没有贸然举事，而是做了几件事。一是大力募兵，作为太原留守，李渊手下有几万兵马，但想拿下大兴城远远不够。不过作为朝臣，公开募兵会被人怀疑，需要找一个合理的借口。正巧赶上担任鹰扬府校尉的刘武周起兵反叛，杀掉了马邑太守王仁恭，在突厥人的帮助下，进占了汾阳宫。李渊便以收复汾阳宫为由派李世民、刘文静、长孙顺德以及刘弘基到各地募兵，一个月后便召集部众数万人。二是召回诸子，当时李渊和李世民在太原，长子李建成、四子李元吉都在河东，李渊派密使召他们暗中潜回太原，一起共谋起事。三是制造舆论，为了激发民众反隋的情绪，李渊指示刘文静伪造杨广的诏令，说“发太原、西河、雁门、马邑人年二十已上，五十已下悉为兵，期以岁暮集涿郡，将伐辽东”。矫诏一出，顿时民怨沸腾，“由是人情大扰，思乱者益众”。
办完这三件事，李渊决定动手了。为了一举成功，还有一件事必须要做，便是除掉杨广安插在太原的耳目，主要是太原副留守王威和高君雅。此时他们也嗅出了不同的味道，看到李渊招兵买马，怀疑李渊要造反。两人和好友武士彟一起喝酒聊天，流露出了这样的情绪，说：“刘弘基、长孙顺德都是征高句丽时的逃兵，怎么能让他们前去征兵？我们准备逮捕审讯他们。”
武士彟是中国历史上唯一女皇帝武则天的父亲，原本是一个经营木材生意的商人，曾经参与东都洛阳营建。杨广大规模征兵，武士彟弃商从戎，参军入伍，在鹰扬府做一名队正。后来认识了李渊，两人很投脾气，成为好友。李渊当上太原留守后，武士彟成为留守府中主管军事装备的幕僚。或许是因为长期做生意的缘故，武士彟头脑极为灵活，情商很高，左右逢源，因此和王威与高君雅关系处得也不错。
武士彟一听两人说的话有些不对劲，预感到双方矛盾很深，需要自己选边站队。他当然会站到李渊一边，于是答道：“此并唐公客也，若尔便太纷纭。”他们如今是唐公(李渊)的门客，如果这么做，会有麻烦。王威和高君雅听他这么一说，并没有立即动手，这为李渊赢得了时间。
不过，随着时间的推移，王威、高君雅感到气氛越来越不对，觉得李渊很快就要图谋不轨。此时正赶上大旱天气，李渊父子想要到晋祠求雨，两人密谋趁李渊父子到晋祠祈雨时除掉他们，向杨广邀功请赏。只是保密工作做得太差，不知是有意还是无意，将密谋透露给另外一个好朋友晋阳乡长刘世龙。刘世龙虽然与王威、高君雅交往频繁，但觉得跟着李渊更有前途，于是向李渊告发。李渊、李世民先发制人，让人指控王威、高君雅二人暗中勾结突厥，引突厥入寇中原，以此为由将二人囚禁，恰巧数万突厥军队进攻晋阳，李渊立刻下令将二人斩首。
杀掉两人后，李渊在太原誓师，正式起兵，发布了声讨杨广的檄文，斥责杨广“巡幸无度，穷兵极武，喜怒不恒，亲离众叛”，让天下老百姓都活不下去，导致天下大乱。“十分天下，九为盗贼。荆棘旅于阙廷，豺狼充于道路，带牛佩犊，辍耕者连孤竹而寇潢池；锄耰棘矜，大呼者聚萑苻而起芒泽。”李渊表示起兵是替天行道，而不是想篡位，只是试图重现大隋的辉煌。
李渊知道要想成功，还有一件事必须处理好，便是与突厥的关系。突厥经常侵扰，李渊对其没有太好的办法，几次派兵出战都没有占到任何便宜。如果直扑关中，突厥从背后打过来，腹背受敌，后果不堪设想。
刘文静建议不如与突厥联合，这样既消除了外患，又增加了实力。李渊于是派遣刘文静出使突厥，刘文静见到始毕可汗后说：“如今天下大乱，唐公为国家近戚，担心皇室毁灭，故此起兵。唐公希望与可汗兵马一同进入京师，到时百姓、土地归于唐公，财帛和金宝归于突厥。”面对如此的诱惑，始毕可汗动心了，当即命大将康鞘利率二千骑兵随刘文静南下，又献马一千匹。
李渊派遣刘文静安抚突厥后，决定西进，杀向关中。他命四子李元吉为太原太守，留守根据地，自己带着李建成、李世民以及三万精兵，从晋阳出发，直奔大兴城。表面上打着“志在尊隋”的旗号，宣布尊立杨广的孙子代王杨侑为帝。
镇守大兴城的代王杨侑听说李渊起兵，并且率部西进的消息，立即做出了部署。派遣虎牙郎将宋老生率精兵两万屯霍邑(今山西霍州)，左武侯大将军屈突通领骁果数万人屯河东，阻击李渊军南下。
在进军途中，李渊接到了一封非常重要的信件，来自李密。李密和翟让率领瓦岗军夺取兴洛仓后，实力大增，威逼洛阳。李密让手下的大笔杆子祖君彦写了一篇檄文——《为李密檄洛州文》，这篇檄文堪称经典，引经据典，酣畅淋漓地揭露了杨广的种种罪行。具体说来，杨广有十大罪状，不论是真的还是假的，一股脑儿都算到杨广的头上。文章写得恢宏磅礴，尤其是“罄南山之竹，书罪无穷；决东海之波，流恶难尽”两句，更是脍炙人口，还衍生出了“罄竹难书”这个成语。
檄文发布后，极大鼓舞了瓦岗军的斗志，李密率部屡破隋军，几次将负责洛阳守卫的隋军将领王世充击败。特别是在夹石子河之战中取得大胜，搞得王世充只带着一些残部逃跑。但是就在形势大好时，瓦岗军内部却出现了分裂，主角是李密和翟让。
在此之前，翟让主动让贤，甘做绿叶，让李密当了大头领，表现得很大度，两人之间配合得也不错。但随着瓦岗军的不断壮大，已经有了问鼎中原的机会，便发生了一些微妙的变化。虽然退居二线的翟让没有什么想法，但他的亲友和手下开始觉得不甘心。
翟让的部将王儒信劝翟让自任大冢宰，这个职位是百官之长，相当于宰相，管理所有的事务，把让给李密的权力夺回来。翟让并没有听从，他始终认为李密是领导瓦岗军的最佳人选。翟让的哥哥翟弘是个粗人，好功名利禄。他对翟让说：“在瓦岗军中，你的功劳最大。天子你可要自己当，怎么可以让给别人？”翟让听后哈哈大笑，也没怎么当回事。但是这些事被李密安插在翟让身边的亲信得知，告诉了李密。李密听说后，很是恼火，对翟让产生了猜疑。
就在此时，有人出来火上浇油。此人是左长史房彦藻，也就是李密的秘书长，曾经受到过翟让的斥责，记恨在心，在李密面前说了很多翟让的坏话。有一次，他对李密说：“翟司徒责怪我，说:你上次攻破汝南，得到不少金银财宝全部都给魏公(李密)手下了，一点儿都不分给我的手下。要知道李密是我一手推立的，还不知道以后怎么样呢。”
房彦藻说中了李密的痛处，李密很清楚翟让是瓦岗军的创始人，虽然让出了第一把交椅，但在军中非常有影响力，只要翟让在瓦岗军中振臂一呼，他的权力就随时可能被拿回去。于是，李密问房彦藻该如何是好，房彦藻说：“翟让刚愎贪婪，有无君之心，应早图之。”
李密由此下定决心除掉翟让，他采用了鸿门宴的方式。大业十三年(617年)十一月十一日，翟让应邀带着兄长翟弘、侄子翟摩侯到李密住处参加宴会，并让虎将单雄信、大将徐世等人站在身后护卫。李密看到翟让有所准备，不好下手，便说：“我与翟司徒和几位高官喝酒，不需要这么多人，只留下几个使唤的人就行了。”房彦藻在旁边帮腔说：“大家在一起是为了喝酒取乐，天这么冷，司徒(翟让的官衔)的随从人员也喝点酒、吃点饭吧。”
翟让认为李密不会暗害自己，于是让随从都出去喝酒吃饭了。宴会开始之前，李密拿出一张好弓给翟让看。翟让接过弓，刚刚把弓拉满，李密手下的武士蔡建德就从翟让身后砍了一刀，翟让顿时倒在了血泊中。接着，翟弘、翟摩侯、王儒信都被杀了。徐世想跑，结果被守门的士兵砍伤脖子。单雄信看到形势不对，跪下来磕头哀求饶命。
李密见目的已经达到，觉得当务之急是稳定军心，于是说：“我与各位一起兴起义兵，是为了除暴安良。司徒却独断专行、贪婪暴虐、凌辱同僚、对上无礼。只杀他一家人，请你们不要干涉。”他不仅口头上说，还做了做样子，让人把徐世扶到自己的营帐里，亲手为他包扎伤口，又独自一个人骑着马进入翟让的军营去稳定军心。虽然瓦岗军最终没有出大乱子，但李密杀掉无辜的翟让，使得瓦岗军内部出现了嫌隙，搞得人人自危，为以后的败亡埋下了祸根。
李渊为什么会给李密写信？是因为他起兵后，觉得自己的势力还不够，而此时瓦岗军风生水起，处于最强盛的时候。于是他想着与李密建立联系，让他别为难自己，关键时刻还希望李密能伸以援手。因此，在信中李渊主动示弱，说自己只反杨广，没有夺取天下的意思，这一点请李密理解，顺带还给李密戴了不少高帽。
李密读了李渊的来信后很高兴，让祖君彦起草了回信，大谈同姓之谊，“与兄派流虽异，根系本同”，就是说两人五百年前是一家，“自唯虚薄，为四海英雄共推盟主。所望左提右挈，勠力同心，执子婴于咸阳，殪商辛于牧野，岂不盛哉！”意思是自己虽然不才，但却被天下英雄推为盟主，希望李渊能归顺他，一起灭掉隋朝。
李渊觉得如何呢？“密妄自矜大，非折筒可致”，李密实在过于狂妄，这种人，不是轻易能对付的。他对左右说：“吾方有事关中，若遽绝之，乃是更生一敌；不如卑辞推奖以骄其志，使为我塞成皋之道，缀东都之兵，我得专意西征。俟关中平定，据险养威，徐观鹬蚌之势以收渔人之功，未为晚也。”现在关中正有战事，若马上断绝了和他的来往，就是又树了一个敌人，不如用阿谀奉承之语吹捧他，使他心志骄横，让他替我挡住成皋之道，牵制东都之兵，这样我就可以专心一意地进行西征了。待到关中完全平定以后，咱们依据险要之地，养精蓄锐，慢慢地观看鹬蚌之争以坐收渔人之利，也并不晚啊。
李渊决定继续恭维李密，好让他更加自满，替自己挡住中原的隋军。回信中，李渊尊称李密为“大弟”，拍马屁说：“天生烝民，必有司牧。当今为牧，非子而谁！”天生百姓，必须要有统领的君主，而当今天下，这个人除了你还有谁？李渊还写道：“老夫年逾知命，愿不及此。欣戴大弟，攀鳞附翼，唯弟早膺图箓，以宁兆民！宗盟之长，属籍见容，复封于唐，斯荣足矣。”说自己已年老身衰，只盼李密早日夺取天下，成就帝业后，若能恢复自己唐公的封地爵位，便感激不尽。
李密果然对此很受用，李渊的一番吹捧让他觉得飘飘然，拿着回信给僚佐们看，并说：“连唐公都这样推举我，这天下很容易就平定了！”答应不阻拦李渊向关中进军，并决心继续与洛阳隋军死磕。李渊几句恭维话就将李密稳住，让其拖住洛阳一带的隋军，他自己可以放心地向关中进发了。
李渊想要进入关中，首先要打掉宋老生和屈突通这两个拦路虎。宋老生并不好对付，此人武力超强。不过，比宋老生更难对付的是天气，时值七月，进入雨季，连日阴雨，道路泥泞难行。李渊不得已只好下令队伍停下来，很快后勤补给就出现了问题，军粮难以接济上。此时传来一个更坏的消息，说突厥和刘武周联手准备攻打晋阳，当时刘文静出使突厥还未回来，这个消息的真伪不得而知，但却在军中引发了极大的恐慌。
是进是退，李渊必须拿一个准主意，他把裴寂、李建成、李世民召集到一块，开了一个紧急会议。会议的主题是要不要先撤兵回太原，待日后战机成熟，再发兵攻打长安。裴寂首先表态，他说:“宋老生、屈突通连兵据险，未易猝下。李密虽云连和，奸谋难测。武周者，事胡也。太原一方都会，且义兵家属皆在太原，不如还兵救之。更图后举。”如今前面有宋老生和屈突通据险死守，一时半会很难拿下。李密虽然表面上和我们合作，但此人城府很深，下一步如何很难说。而近来军中又盛传突厥人与刘武周联兵南下，未知虚实。太原是我军的大本营，将士的家眷都在那里。不如回师先守住太原，以后再徐图大事。
裴寂这样一说，更加重了李渊的恐慌心理，开始琢磨如何退兵。这个时候，李世民不干了，他说：“今禾菽被野，何忧乏粮！老生轻躁，一战可擒。李密顾恋仓粟，未遑远略；武周与突厥外虽相附，内实相猜。武周虽远利太原，岂可近忘马邑！本兴大义，奋不顾身以救苍生，当先入咸阳，号令天下。今遇小敌，遽已班师，恐从义之徒一朝解体，还守太原一城之地为贼耳，何以自全！”前几句逐条回复了裴寂所担心的情况，一是眼下正值收获季节，遍地都是庄稼，不用担心断粮；二是宋老生急躁轻浮，一战便可将其生擒；三是李密一门心思守着东都粮仓，不可能南下攻打我们；四是刘武周虽然表面依附突厥，但内心却和突厥人相互猜忌。他虽然贪图太原，但更怕马邑被突厥抄了后路。
李世民最后几句说得尤其精彩，我们之所以起兵举义，目的就是为了拯救苍生！如今为了小小的挫折就班师回去，恐怕义军会随时解体。到时候我们固然据守太原，但那跟盗匪又有什么区别呢？李世民的意见，获得了大哥李建成的支持，《资治通鉴》里说“建成亦以为然”。
尽管李世民说得慷慨激昂，但李渊没有立即采纳。其实也好理解，毕竟太原实在太重要了，如裴寂所说，万千将士的家眷都在那里，万一老巢被端，就会沦为丧家之犬。李世民的话虽说也有几分道理，但是他太年轻了，许多事情不能仅凭年轻人的热血，还是要考虑得更加周全。
李渊最后决定采纳裴寂的建议，回师太原，命令前锋为边后卫，后卫改前锋，掉转枪头，向太原城进发。李渊下达命令之后，已经天黑，就去睡觉了。李世民无法入睡，数月之中呕心沥血促成的举义大事，就这样功败垂成，毁于一旦，他心急如焚，来到父亲李渊的营帐，在帐外发声大哭。
李渊召李世民进帐，问他为何痛哭，李世民说：“今兵以义动，进则战克，退还众散。退散于前，敌乘于后。死亡无日，何得不悲？”如今我们以仁义起事，进则必胜，退则必败，如果全军溃散，敌人乘机进攻，就离死不远了，想到这里因而悲痛。李渊听李世民这么一说，觉得很有道理，退兵很容易溃散，只有往前打才有活路。于是决定停止回师，继续前进。
人助者天助，过了一段时间，雨也停了。李渊率军来到霍邑，他最担心的是宋老生据险防守而不出战，本来后勤补给就很困难，很难继续耗下去。但李建成、李世民认为宋老生有勇无谋，略施小计，便能引他出战。他们请李渊带一些人在城下辱骂宋老生，估计用词很脏，宋老生不堪受辱，率军出战，双方很快陷入混战。
宋老生指挥军队猛冲，直指李渊。敌人来势汹汹，李渊不得不后退。李世民一看情势危急，从南面率领两千骑兵前来助战。由于事出突然，宋老生的军队顿时乱了。这时李世民展现了“战神”本色，砍瓜切菜般连杀数十人，大刀砍得都卷了刃。
双方激战正酣时，李渊派人高呼“已斩宋老生”，使得隋军军心大乱，再也无心恋战，只知拼命往回跑。李渊率领全军乘势追击，城门早已为李渊军夺占，宋老生进城无望，下马跳入壕沟，被李渊部将刘弘基一刀砍死。主将被杀，战斗基本就结束了，李渊率部攻克了霍邑，突破了第一道防线。
就在此时，刘文静从突厥赶到前线，同来的还有突厥大将康鞘利所带的兵士和马匹。李渊大喜过望，军中先前所传突厥人联合刘武周进攻太原的谣言不攻自破，后方没有问题，使得李渊更加放心地全力西进。
接着便要面对镇守河东郡的屈突通。相对于刚打了胜仗气势正盛的李渊，屈突通的处境非常艰难，孤军守城，没有援兵。李渊分析说：“屈突通虽然有不少精兵，与我军仅相隔五十余里，但却不敢来战，足以证明部下已经不为屈突通效命了。”不过，李渊的判断显然有些乐观了，河东城城高险峻，屈突通率部拼死抵抗，李渊的人马攻打了几次都无法攻克，伤亡比较惨重。
该何去何从呢？继续攻打还是绕城而过？李渊倾向于后者，因为长期耗在这里，不仅会增加伤亡，还会给大兴城的隋军更多的时间做好防御准备。裴寂却不同意，他说：“屈突通拥大众、凭坚城，吾舍之而去，若进攻长安不克，退为河东所踵，腹背受敌，此危道也。不若先克河东，然后西上。长安恃(屈突)通为援，通败，长安必破矣。”屈突通手握重兵，坚守固城，就算我们今天绕开他，万一我们不能拿下长安，撤退时就会遭到屈突通的阻击，到时候腹背受敌，局势将对我们十分不利。不如我们先全力拿下河东，再选择西进。河东是长安的门户，屈突通一旦战败，长安城还不是手到擒来。
裴寂说得有道理吗？应该有些道理，正常的打法本该如此，但是他忘记了一个词——兵贵神速。几万大军在河东郡裹足不前，即使将来能够攻克城池，消耗必然会很大，大兴城的隋军早已做好准备，以逸待劳，能否顺利拿下大兴城还要画个大大的问号。
李世民站出来反驳裴寂，他说：“兵贵神速，吾席累胜之威，抚归附之众，鼓行而西，长安之人望风震骇，智不及谋，勇不及断，取之若振槁叶耳。若淹留自敝于坚城之下，彼得成谋修备以待我，坐费日月，众心离沮，则大事去矣。且关中蜂起之将，未有所属，不可不早招怀也。屈突通自守虏耳，不足为虑。”打仗讲究兵贵神速，我们拥有连战连捷的余威以及四方来附的部众，如果快速西进，长安必定惊恐，当他们来不及做决定的时候，我们就已经像秋风扫落叶般拿下了长安城。若坚守在河东城下，就会使长安有充分的时间准备，致使我们贻误战机。一旦军心离散，到那时就什么都做不了了。
李渊觉得两边说的都有道理，思索再三，决定采用折中方案。他和李世民率主力向关中进攻，令李建成和刘文静驻守河东郡西边的潼关，监视屈突通，阻止其向大兴城增援。
李世民作为前锋，进展非常顺利。主要原因是关中地区有不少内应，其中势力最大的居然是李渊的第三个女儿，后来唐朝平阳公主李氏带领的队伍。李氏是位奇女子，他的夫君是柴绍，一家人住在大兴城。李渊起兵前，派密使召他们回晋阳，但两个人同时离开京城，目标太大，容易引起嫌疑。
柴绍对夫人说：“你的父亲将要起兵扫平乱世，我打算前去帮助他，但一起离开不可行，我独自走后又害怕你有危险，到底应该怎么办呢？”平阳公主的回答很干脆，说：“君宜速去。我一妇人，临时易可藏隐，当别自为计矣。”你赶紧离开，我是一个妇人，遇到危险容易躲藏起来，到那时自会有办法。
平阳公主有着过人的胆识，柴绍离开后，她成功地逃出了大兴城，回到鄠县(今陕西省西安市鄠邑区)的李氏庄园，女扮男装，自称李公子，将当地的产业变卖，赈济灾民，很快招收了一支几百人的队伍。李渊起兵后，平阳公主听到这个消息，决心要为父亲招募更多的人马。让人意想不到的是，她收编了当时好几支势力庞大的起义军。
这支由女子作为主帅的义军，军纪严明，令出必行，令行禁止，秋毫无犯，得到了民众的拥护。百姓将平阳公主称为“李娘子”，将这支军队称为“娘子军”，队伍声名远扬，很多人都来投奔，规模不断壮大，攻占了关中地区的许多城池和要塞。
李渊主力军队渡过黄河，进入关中地区，发现自己的女儿竟然拥有如此庞大的一支队伍，既震撼又惊喜，随即他便派自己的女婿柴绍带领数百骑兵前往渭河北岸与平阳公主会合，夫妻二人终于团圆了。顺利会师之后，平阳公主挑选出一万精兵，与丈夫共同配合父亲李渊攻打长安。
再说屈突通，他得知李渊渡过黄河，留下部将尧君素守河东，自己率部计划由武关(今陕西丹凤东南)出蓝田(今陕西蓝田)回救大兴城。但在潼关遇到了刘文静的顽强阻击，双方相持了一个月，始终不能突破潼关防线。
屈突通觉得不能再这样拖下去，做了冒险之举，派手下桑显和夜袭刘文静军营。这次偷袭收到了奇效，刘文静仓促应战，结果被流矢击中，所部士气大挫。隋军乘势攻下两个营寨，眼看就要大获全胜，结果突然停止了进攻。原来桑显和眼见胜券在握，又见军士疲惫，饥肠辘辘，于是下令暂停进攻，就地开饭，等吃饱了肚子再彻底解决战斗。
但是桑显和没有意识到，一顿饭的时间足可以改变战局。趁隋军吃饭休整之际，刘文静重新调整部署，派兵重新杀回丢失的营寨。又令一支几百人的队伍运动到隋军背后，突然发起攻击，前后夹击，隋军全军覆没，桑显和单身逃走。
屈突通的处境愈加窘迫，进不得退不得，刘文静派人劝降，屈突通痛哭道：“我蒙受国家厚恩，侍奉二主，陛下对我的恩宠照顾非常优厚，拿着国家的俸禄而在困难时背叛，怎能逃避国难？只能以死报国！”还摸着自己的脖子说：“应当为国家挨一刀！”手下将士看到主帅这样，深受感动，都跟着痛哭流涕。
感动归感动，但眼泪解决不了任何问题。很快李渊攻克了大兴城，派人劝降屈突通。此时屈突通已经走投无路，但还是表现得很有骨气，将李渊的使者杀掉，然后令桑显和留守，自己率主力东去，准备去洛阳投奔越王杨侗。没料到，他前脚刚走，桑显和便献城投降。刘文静派部将与桑显和率精锐追击，结果屈突通在半路被追上，双方摆开阵势，屈突通的儿子屈突寿受命去劝说他，屈突通骂道：“往昔与你是父子，今天就是仇敌了。”并命令身边的人用弓箭射击屈突寿。
桑显和看到屈突通死活不投降，只好向他的部众喊话：“京师陷落，各位都家住关西，为何还要向东去？”这话太有杀伤力了，众人闻听此言，全都扔掉兵器投降。屈突通见大势已去，下马向江都的方向再三跪拜，痛哭道：“臣力尽兵败，没有辜负陛下，天地神祇，实所鉴察。”随后被擒送往长安。李渊见到他，问其为何迟迟不投降，屈突通说：“我未能尽人臣的忠节，所以到了这个地步，让本朝蒙羞，实在是愧对代王。”李渊并未生气，反而觉得他是一个真正的忠臣，下令将他释放，并授兵部尚书，封蒋国公。
就在刘文静和屈突通在潼关对峙的时候，李渊发起了攻打大兴城的战役。此时他手下的兵马已经从最初的三万人增长到近二十万人。在此之前，李世民派刘弘基攻取了扶风，然后率部南渡渭水。驻守丰邑的李建成也奉李渊之命，率部直驱长安，对大兴城的包围圈不断缩小。
十月十四日，李渊抵达城下，驻营春明门外，二十万人马将大兴城围得水泄不通。镇守城池的名义上是代王杨侑，但实际上说了算的是刑部尚书卫文升。杨广重用他，是因为卫文升才干突出。在杨广第一次征伐高句丽时，各路兵马出师不利，损失惨重，只有卫文升这一路全身而退，这让杨广对他刮目相看。
杨玄感叛乱后，在东都洛阳被围的关键时刻，又是卫文升孤军深入，驰援洛阳。在邙山决战中，卫文升率军拼死作战，致使杨玄挺中箭而死，拖住了杨玄感的主力，为宇文述、来护儿援兵赶到赢得了宝贵的时间，做出了突出的贡献。此战过后，杨广对他更为赏识信任，让他留守京城辅助代王，对他说：“函谷关以西，全部委托给你，你安然无恙，国家就安然无恙。你有危险，国家就有危险。”并体贴地说：“你出入必须有兵士护卫，坐卧应加强防备，如今特意给你一千士卒，充当侍卫随从。”
虽然杨广对卫文升寄予厚望，但当杨广离开洛阳后，卫文升看到天下大乱，心里萌生退意，上表乞求告老还乡。杨广当然不同意，心里很不放心，特派内史舍人封德彝赶到京城，传达自己的口谕说：“京师是国家的根本，是王业的根本，是宗庙祖坟所在地，所以才派你在这里驻守，为了江山社稷，不能同意你退休。”卫文升只好硬着头皮干下去。
李渊占有绝对优势，想着兵不血刃拿下城池，他派人劝降，希望守军放下武器，但卫文升并没有理睬。这倒不是因为卫文升想死扛到底，搞个鱼死网破。根据《隋书》的记载是“师入关，自知不能守，忧惧称疾，不知政事”，卫文升当时已经七十七岁了，真干不动了，为了感恩杨广的信任，在这个位置苦苦支撑。当他听说李渊率军向大兴城进发，自知不能守御，忧愁恐惧，自称有病，不再参与政事。
既然卫文升放弃抵抗，大兴城陷落只是时间问题。代王杨侑没办法，只好令左翊卫将军阴世师主持京城防务。为了表明与城池共存亡的决心，阴世师下令“发其坟墓，毁其五庙”，挖掘了李家的祖坟，毁坏了李家的家庙，还下令杀掉了李渊最小的儿子李智云。
李智云是李渊的第五个儿子，为小妾万氏所生，相比其他兄弟，他是唯一的庶出。李渊为太原留守后，只带了李世民上任，而留下了李建成、李元吉和李智云三兄弟在家乡。李渊起兵前，密召他们到晋阳，李建成和李元吉回来了，但不知为何却留下了李智云。李渊造反后，李智云被逮捕并押解到大兴城，后被杀。
李渊感到震怒，下令发动猛攻，用了半个月便攻克大兴城。这个时候，离李渊在太原誓师起兵还不到半年，可谓势如破竹。
李渊进城后做了三件事：第一件事是“与民约法十二条，悉除隋苛禁”，这有点像当年刘邦进入咸阳后与民“约法三章”，为的是争取民心。二是斩杀了阴世师，不过对于这个不共戴天的仇人，李渊表现得宽大仁慈，只杀了阴世师，没有搞株连，“世师有子弘智等，以年幼获全”，一双儿女却因年幼免于死罪，被没入掖庭。三是迎立杨侑为帝，遥尊在江都的杨广为太上皇。
李渊之所以扶立杨侑为皇帝，出于两方面的考虑。一是取而代之的时机还不成熟，让杨侑先做个过渡，等万事俱备随时可以废黜他。二是这样做意味着杨广不再是隋朝皇帝，自己可以“挟天子以令诸侯”，占据道义上的制高点。
所有人都知道，李渊成为皇帝只是时间问题，只是需要走一些固定的程序。果不其然，杨侑下诏授李渊为假黄钺、使持节、大都督内外诸军事、大丞相、录尚书事，晋封唐王，将军政大权集于一身。李建成为唐国世子，李世民为京兆尹、秦国公，李元吉为齐国公。
自此，李氏父子完全控制了关中局势，并以此为根据地，最终打下了属于李家的江山。