隋文帝消除了北方边患，距离一统天下只有一步之遥，如今可以放手收拾盘踞在江南的陈朝了。
陈朝当时的皇帝是陈叔宝，在历史上他更为出名的是“陈后主”。陈叔宝的这个皇位来之不易，他父亲陈宣帝陈顼虽然只活了五十三岁，但却生了四十二个儿子。陈叔宝作为嫡长子，从小就被册立为太子，引发二弟陈叔陵的嫉妒，一心想除掉兄长，取而代之。在举行陈宣帝遗体入殓仪式时，陈叔陵突然发难，用切药的刀向陈叔宝砍去。陈叔宝顿时昏厥，陈叔陵准备再砍时，陈宣帝的皇后柳敬言趴在儿子身上，保护陈叔宝。陈叔宝的奶妈从后面抓住陈叔陵的胳膊，这才让恢复知觉的陈叔宝逃脱。
虽然陈叔陵事后被诛杀，但这次刺杀未遂事件极大刺激到了陈叔宝，让他觉得人生无常，厄运随时会降临，不如抓紧时间享受人间乐趣。陈叔宝本来就是一个文艺青年，喜欢舞文弄墨，做太子时便经常举办文学宴会，一群文人墨客聚集在他身边，形成了一个文学群体。陈叔宝成为皇帝后，便重用这些人，毕竟兴趣相投，知根知底。
江总被任命为宰相，他和陈叔宝的关系非同寻常，陈叔宝还是太子的时候，他就经常陪侍左右，两个人经常“为长夜之饮”，一喝就喝到深夜，是一对酒友。江总擅长五言诗、七言诗，诗风浮华靡艳。他喝酒赋诗可以，但根本不是治国理政的料，“虽为宰辅，不亲政务”，天天和陈暄、孔范等人侍奉陈叔宝赋诗饮酒，当时称这些人为“狎客”，导致的结果是“国政日颓，纲纪不立”。
陈叔宝有个庞大的后宫佳丽团，他最宠爱的是位叫作张丽华的女子。陈叔宝遇刺后，养伤期间所有嫔妃不得进入，只留张丽华一人在身边服侍。陈叔宝如此喜欢她是有道理的，史书中说她“发长七尺，鬒黑如漆，其光可鉴。特聪慧，有神彩，进止闲华，容色端丽。每瞻视眄睐，光彩溢目，照映左右。尝于阁上靓妆，临于轩槛，宫中遥望，飘若神仙”。长得就和仙女一样，彻底迷倒了陈叔宝，将其封为贵妃。
张丽华不仅长得漂亮，而且“才辩强记，善候人主颜色”。陈叔宝只顾享乐，百官的奏章都通过太监蔡临儿、李善度呈递请示，陈叔宝倚着靠枕，让张丽华坐在膝上共同商议决定。蔡临儿、李善度记不住的，张丽华都写成条款，无所遗漏。因为参与访察宫外的事务，社会上有一言一事，张丽华必定首先知道并且告诉给陈叔宝，更加受到宠幸，冠绝后宫。
张丽华由此开始干政，大臣有不听话的，她会在陈叔宝那里告黑状，后宫的家人做了犯法的事情，她就向陈叔宝求情予以宽恕。陈叔宝对她言听计从，这样一来，她和另外一个宠妃孔贵嫔“熏灼四方，内外宗族，多被引用。大臣执政，亦从风而靡”。朝廷法纪全被搞乱了，以至于“阉宦便佞之徒，内外交结，转相引进。贿赂公行，赏罚无常，纲纪瞀乱矣”。
张丽华干政的行为引起了朝臣的不满。秘书监傅上书直言陈叔宝贪恋酒色，恐致众叛亲离，最终惹恼了陈叔宝，被赐死狱中。而大市令章华也因为直言不讳指责陈叔宝沉迷酒色，也丢了性命。自此，对陈叔宝的荒诞行径，朝臣再没有人敢劝谏了。
陈叔宝根本不理会这些，只愿意待在温柔乡里，为了恣意玩乐，他为张丽华、孔贵嫔、龚贵嫔等宠妃修建了“三阁”，命名为临春、结绮、望仙，每阁都高几十丈，总共有几十个房间，门窗、柱子、栏杆都用檀香木制成，上面装饰金玉珠宝，极尽奢华。
陈叔宝住在临春阁，张丽华住在结绮阁，孔贵嫔、龚贵嫔合住在望仙阁，三阁中有通道相连。陈叔宝经常在这里举办宴会，邀请其他嫔妃和文武大臣参加，他从宫女中挑选通晓文字的担任女学士，每次宴饮时，陈叔宝让妃嫔、女学士和狎客共同写作诗词，相互赠答，挑出特别艳丽的，作为曲调，配上乐曲，让宫女们演唱。其中最出名的是陈叔宝创作的《玉树后庭花》——“丽宇芳林对高阁，新妆艳质本倾城。映户凝娇乍不进，出帷含态笑相迎。妖姬脸似花含露，玉树流光照后庭。”这首作品显示出陈叔宝很高的文化修养，但也把他的骄奢淫逸展现得淋漓尽致，所以被后世视为“亡国之音”。唐代诗人杜牧为此写了一首非常著名的《泊秦淮》：烟笼寒水月笼沙，夜泊秦淮近酒家。商女不知亡国恨，隔江犹唱后庭花。
就在陈叔宝夜夜笙歌时，隋文帝已经将灭陈提上了议事日程。事实上，早在登基之初，他便有这样的盘算，但又觉得时机未成熟。更何况还有突厥这个心头大患，搞不好会陷入双线作战的被动局面。于是，隋文帝暂时忍了，一心一意对付突厥，对南陈采取睦邻友好政策，双方经常有使节相互来往。
陈叔宝听说隋文帝相貌不凡，便让使臣袁彦将他的相貌画像带回来瞧瞧。陈叔宝展开画像后，竟然“大骇”，吓得掩面说：“我不欲见此人。”马上让人将画像拿走。
尽管如此，陈叔宝对隋朝并没有引起足够的警惕，除了他荒于酒色，及时行乐外，隋文帝采取的麻痹战术也起了作用。他给陈叔宝写信，特意署名为“杨坚顿首”，显得非常谦恭，这让陈叔宝感觉相当良好，态度更加狂妄，在回信中说：“想彼统内如宜，此宇宙清泰。”你的国家过得还好吧，我的宇宙十分太平清净。陈叔宝将自己治下的陈国称为“宇宙”，可见其傲慢无礼、目中无人。面对这样赤裸裸的蔑视，隋文帝自然很生气，但还是忍了，这一忍就是六年。
忍归忍，隋文帝主要精力虽然用于对付突厥，但并没有放弃伐陈的准备，为此特意征询高颎的意见。高颎出了一个损招说：“江北气候寒冷，水田收割较晚；江南水温较高，水田收割较早。估计陈国收获季节时，我们征集一点人马，声称要袭击陈国，他们定会屯兵防御，这样庄稼就无法及时收割，只能烂在田里。等他们集结好队伍，我们就解甲。如此再三，他们就会习以为常，以后我们再集结兵力，他们必然不再相信，在他们没有防备的时候，我们就趁机过江，登陆而战，士气会倍增。另外，江南天气潮湿，房屋多为茅草竹子所建，所有的东西都无法贮藏在地窖里，所以可以偷偷派些人，乘人不备放火烧掉，等他们修好了，再去放火，用不了几年，陈国的财力就会殆尽。”
总之，要时不时搞些破坏，先打消耗战。高颎出的主意听上去比较馊，但却很管用，几年下来，陈朝军民被隋朝的一系列小动作搞得疲惫不堪、财竭民困。
隋文帝还让高颎推荐经略江淮的人选，他推荐了两个人，一个叫韩擒虎，另一个叫贺若弼。
韩擒虎的父亲韩雄，以勇猛有气节而闻名，在北周做官，官拜大将军，洛阳、虞州等八州刺史。韩擒虎毫不逊色于父亲，人如其名，体貌魁梧伟岸，有一副英雄豪杰的仪表，而且性格粗犷豪迈。除了武力高强外，韩擒虎也非常喜欢读书，常常手不释卷，年纪轻轻就遍览各类书籍。宇文泰看见他后，认为他很独特，就让他与自己的诸子们一起游玩。韩擒虎在北周时屡立战功，当时陈朝军队时常侵犯江北，进入北周边界，韩擒虎多次挫败他们的锐气，使南陈士气大丧。所以，高颎很看好他，将其推荐给隋文帝，隋文帝派他去庐州(今安徽合肥)当了总管。
贺若弼同样出身于武将世家，史书上说“弼少慷慨有大志，骁勇便弓马，解属文，博涉书记，有重名于当世”。他从小就树立了很大志向，而且非常骁勇，善于骑射，博闻强记，在当时就有很大的名声。高颎对他的推荐语是“朝臣之内，文武才干，无若贺若弼者”，评价相当之高，隋文帝便任命他为吴州(今江苏扬州一带)总管。对于这个新岗位，贺若弼相当满意也非常激动，深感责任重大，使命光荣，他给好友寿州总管源雄赋诗一首，写道：“交河骠骑幕，合浦伏波营。勿使麒麟上，无我二人名。”希望自己和源雄像汉朝名将霍去病和马援一样，建功立业，青史留名。
两人到任后，很快就发挥了作用。在此之前，陈朝利用北方发生三总管叛乱之机，趁火打劫，渡过长江对隋军发动攻势，占了不少地盘。隋文帝后来下令反击，贺若弼和韩擒虎参加了对陈的反击战。这次反击取得了预期效果，江北失地基本收复，正赶上陈宣帝驾崩，隋文帝以“礼不伐丧”为由收兵，因为此时的主要敌人是北边的突厥，以隋朝当时的实力，还不具备支撑南北两线作战的能力。
后来随着北方边患的解除，灭陈的条件已经成熟。此时双方的实力发生了逆转，经过隋文帝几年来的励精图治，隋朝国力和军力显著增强，而陈叔宝荒淫无道，国力大不如前。
尽管如此，隋文帝还是很难下定决心，虽然实力占优，但平灭陈朝，主力应是水军，这正是隋军的短板，也是陈朝的长项。当年一代枭雄曹操率领大军南下，论实力完全碾压孙刘联军，但正是因为不善水战，在赤壁被火烧连营，导致险些送了性命。还有统一北方的前秦皇帝苻坚带着八十万大军，在淝水之战中一败涂地，这些前车之鉴，教训极为深刻，不可不小心。
面对隋文帝的忧虑，不少大臣献计献策，其中有一位叫作皇甫绩，他获任晋州刺史，上任前来向隋文帝辞行，他对隋文帝说：“我实在平庸，见识浅陋，没有为国家做多大贡献，因此常想冒着危难来报答国家的大恩。南方陈国还在，按我的揣度，有三个条件，可以灭他。”
隋文帝很感兴趣，让他详细道来。皇甫绩说：“大国吞并小国，这是一个理由；正义的国家讨伐不正义的国家，这是第二个理由；接纳叛臣萧岩，对我们来说，就有了攻打它的理由，这是第三个理由。陛下若命勇武的将士前往征讨，我请求加入军队，出点头发丝那么大的小力。”
皇甫绩的第三个理由中所提到的萧岩，是后梁末代皇帝萧琮的叔父。后梁是一个依附隋朝的傀儡政权，当年侯景之乱后，梁朝宗室发生内乱，归附西魏的萧詧请求宇文泰出兵攻打江陵，南梁皇帝梁元帝萧绎将都城定到这里，宇文泰令常山公于谨、大将军宇文护、杨忠等率领五万兵马进攻江陵，梁元帝战败，率部投降后被杀。西魏扶持萧詧做了新的皇帝，只管辖江陵一州之地，史称西梁或后梁。
萧詧驾崩后，北周武帝宇文邕让萧詧第三子萧岿继位为帝。隋文帝登基后，把萧岿的女儿纳为了晋王杨广的妃子，就是后来的萧皇后。开皇五年(585年)，萧岿去世，其子萧琮即位。隋文帝一直把后梁当作与南陈的缓冲地带，如今他已下定决心灭陈，后梁也就没有存在的必要了。
开皇七年(587年)八月，隋文帝征后梁皇帝萧琮入朝，萧琮不敢怠慢，率领群臣百官二百多人由江陵出发，他前脚刚走，隋文帝派遣大将武乡县公崔弘度率军前去接管江陵。萧琮到达大兴城后，被宣布剥夺皇帝之位，改封莒国公，后梁就此灭亡，只存活了三十三年。
奉诏接管江陵的崔弘度是出了名的暴脾气。有一个故事很说明问题，有一次，他吃鳖，侍奉他的有八九个人。崔弘度一一问他们说：“鳖的味道鲜美吗？”手下都怕他，说：“鳖的味道很鲜美。”崔弘度大骂说：“奴才怎敢骗我！你们并未吃鳖，怎知它味道鲜美？”下令将每人都打八十杖。从此下属见了他，没有不吓得流汗的。当时有个叫屈突盖的，任武侯骠骑，也很苛酷，人们编了个民谣说：“宁饮三升醋，不见崔弘度。宁吃三升艾，不逢屈突盖。”
得知如此严苛之人进驻江陵，后梁的王公大臣和百姓非常恐惧，于是萧琮的叔父萧岩带着众多江陵百姓投奔了陈朝，陈叔宝加封萧岩为扬州刺史。在此之前，隋朝为了表示对陈朝的友好，隋文帝下令从陈朝叛逃到隋朝的，一律不接纳。陈叔宝这样做，违反了彼此的默契，破坏梁陈之间的睦邻关系，无疑给隋文帝出兵提供了很好的借口。
看到隋文帝有灭陈之意，除了皇甫绩外，还有不少大臣将军纷纷献上计策，虢州刺史崔仲方提出：“在武昌(今湖北鄂州)以东沿江各要地部署精兵，秘密准备渡江，在益(今四川成都)、信(今重庆奉节东)、襄(今湖北襄樊)、荆(今湖北江陵)等地速造战船，准备水战；陈如以精兵赴援上游，下游诸将即可乘虚渡江，如陈拥兵自卫，上游诸军则可顺江东下，直取建康(今江苏南京)。”杨素、贺若弼等也争献平陈之策，隋文帝均予以采纳，令介州刺史李衍在襄州道、杨素于巴东郡(今重庆奉节东)建造“五牙”“黄龙”等战船。
这次算是杨素戴罪立功，他原本因为才干突出深得隋文帝重用，但却因为自己的老婆栽了一个大跟头。杨素的老婆郑氏非常凶悍，他虽然贵为宰相，但却非常惧内，对老婆怕得要命。有次，杨素动了纳妾的念头，将这个想法告诉了老婆，郑氏出于愤怒，对杨素又打又骂，最后把杨素惹急了，说了一句：“我若作为天子，卿定不堪为皇后！”
杨素说的是一句气话，再说夫妻间吵架很正常，床头吵床尾和，气头过去也就算了。但没想到郑氏跑到宫里，向隋文帝举报自己的丈夫想篡位当皇帝，这事就搞大了，杨素算是大逆不道，按律当斩。隋文帝知道杨素是无意所说，所以没有深入追究，但是将其官职全部免掉。
杨素在家没闲着，天天琢磨如何灭掉南陈，频频向隋文帝献上灭敌之策。隋文帝觉得人才难得，让他赋闲在家是一种浪费。开皇五年(585年)十月，重新起用杨素，任命他为信州总管，经略长江上游。
杨素到了新岗位后，干得更起劲儿了。他所负责监造的战舰中最大的叫作“五牙”，船面上起五层楼，高百余丈，前后左右有六个用来投石的拍杆，每艘船能容纳八百个士兵，战力相当出众。按照隋文帝的指示，杨素下令将造船的废料故意投入江中，顺流而下，让中下游的陈军看到，增加对敌军的威慑力。
就在隋朝紧锣密鼓准备伐陈时，陈叔宝正忙着废立太子。最早册立的太子是陈胤，他是陈叔宝的庶长子，因生母孙姬早亡，被皇后沈婺华收养。后来陈叔宝极为宠幸张丽华，张丽华天天吹枕边风，希望陈叔宝废掉陈胤，改立自己的儿子陈深做皇太子。陈叔宝讨厌皇后沈婺华的淡泊寡静，又架不住张丽华天天唠叨，再加上孔贵嫔和孔范在旁边帮腔，于是下诏废掉陈胤的太子之位，立陈深做新的皇太子。
隋文帝觉得时机已经成熟，开皇八年(588年)三月九日，他下诏列举陈叔宝的二十大罪状，然后散写诏书三十万份，暗中送往江南各地四处分发，开战以前先大搞舆论战，以瓦解对方的军心。
诏书上说：“陈叔宝据手掌之地，恣溪壑之欲。……驱逼内外，劳役弗已。穷奢极侈，俾昼作夜。斩直言之客，灭无罪之家；欺天造恶，祭鬼求恩。盛粉黛而执干戈，曳罗绮而呼警跸。自古昏乱，罕或能比。”先是说陈叔宝占据着手掌一样大的地方，凭借长江天险，疯狂掠夺江南百姓，使得百姓家产被抢夺一空，还驱使江南百姓参加陈国朝廷征发的无休止的劳役。陈叔宝还遍选江南女子充实后宫，擅自建造宫殿，每一年都在扩建，没有停止的意思。陈叔宝后宫的妃嫔宫女，数量超过一万人，过着锦衣玉食、穷奢极欲的生活。给出的结论是“自古昏乱，罕或能比”，自古以来的昏庸暴虐之君，没有能比得上陈叔宝的。
隋文帝表示要替天行道，“天之所覆，无非朕臣。每关听览，有怀伤恻。可出师授律，应机诛殄；在斯一举，永清吴越”。接受上天的诏命，响应上天提供的时机，收复江南没有臣服大隋王朝的地方。
隋文帝下令在寿春(今安徽寿县)设置淮南行台省，任命晋王杨广为行台尚书令，总管灭陈之事。以晋王杨广、秦王杨俊、清河公杨素并为行军元帅，负责长江上、中、下游的作战指挥。左仆射高颎为晋王元帅长史，军中之事皆由他决断。在作战部署上，隋文帝采用全面进攻、重点突破的策略，兵分八路，杨广出六合(今江苏六合)，杨俊出襄阳(今湖北襄阳)，杨素出永安(今重庆奉节)，荆州刺史刘仁恩出江陵(今湖北江陵)，蓟州刺史王世积出蓟春(今湖北蓟州)，庐州总管韩擒虎出庐江(今安徽合肥)，吴州总管贺若弼出广陵(今江苏扬州)，青州总管弘农燕荣出东海(今江苏连云港)。“东接沧海，西拒巴蜀，旌旗舟楫，横亘数千里。”
一切准备就绪后，这一年十月二十八日，隋文帝率领百官，在太庙前举行盛大的告庙仪式，同时正式宣布出征伐陈。
平陈战役的第一仗由杨素打响，他的作战任务是指挥水军主力，顺流东下，负责消灭长江及沿岸陈朝的水军和陆军。按照隋灭陈作战部署，杨素首先率舟师自巴东郡东下三峡，在长江上游发起攻势。开始进展比较顺利，但到了流头滩(又名虎头滩，今湖北宜昌西北)遇到了麻烦。陈将戚昕率青龙战船百余艘、战士数千人坚守前方狼尾滩(今湖北宜昌西北长江中)，由于狼尾滩地势险峭，水流湍急，易守难攻，隋军将领们都忧心忡忡。
沧海横流方显英雄本色，杨素觉得在这种情况下，既不能退缩，也不能强攻，而应水陆协调，分进合击。他自己率黄龙战船数千艘，利用夜色，实施正面突破。令开府仪同三司王长袭率步兵由长江南岸攻击戚昕别栅；令大将军刘仁恩率骑兵自江陵(今湖北江陵)西进，沿长江北岸进击陈军白沙(今湖北宜昌东)要点，截断陈军的退路。这个战术非常成功，次日拂晓，一举击败戚昕所部。戚昕逃走，部属全部被俘。杨素对俘虏不杀不辱，慰劳后全部释放。杨素不仅首战告捷，而且实行优待俘虏政策，争取了更多的陈军将士放下武器。
杨素率领水军继续东下，大小战船铺满了整个江面，旌旗盔甲在阳光下鲜艳耀眼。杨素端坐在大船之上，容貌体魄雄健魁伟，陈朝人望而生畏，都说：“清河公即江神也！”清河公就是杨素，言外之意是他根本不是一个人，而是一尊江神。
杨素首战告捷的意义重大，打破了陈朝水军不可战胜的神话，消除了隋军对水战的畏惧心理，极大地鼓舞了士气。同时，钳制了长江上游的陈军，使其不能回援都城建康，为后来贺若弼和韩擒虎顺利攻入建康创造了条件。
面对隋朝的进攻，陈叔宝做了什么准备呢？答案是根本没有准备。这还不算，在此之前他还搞了“文武解体”，源头是因为大将任忠上书说：“官场上公然行贿受贿，小人内外勾结，扰乱朝纲，违背法纪，倘若边境有战事，江山社稷将毁于一旦。”这使得陈叔宝手下第一红人孔范感到极为不爽，觉得任忠是冲着自己来的，于是他对陈叔宝说：“外间诸将，起自行伍，匹夫敌耳。深见远虑，岂其所知！”意思是说，带兵的武将都是底层出身，没什么文化，只有匹夫之勇。根本没有战略眼光，深谋远虑的事情，他们一概不懂，让他们来领导军队对朝廷来讲简直就是噩梦。陈叔宝又问施文庆等人的意见，他们不敢得罪孔范，都表示赞同。于是，“自是将帅微有过失，即夺其兵，分配文吏；夺任忠部曲以配范及蔡征”，不仅剥夺了任忠的兵权，自此以后，陈军武将稍有过失，便会被革去职务，由文官取而代之。大敌当前，这样做完全是自废武功，“由是文武解体，以致覆灭”。
隋文帝发兵南下后，陈朝沿江要塞的告急文书不断飞来，当时朝廷由施文庆和沈客卿负责处理日常政务，他们将这些战报压着不报，实在瞒不住时，才向陈叔宝转呈，并说：“边境告急是常有的事，不用太焦虑，守军完全能抵挡得住。”
陈叔宝果然不以为然，依旧花天酒地，他对侍从说：“王气在此，自有天佑。齐兵三来，周师两至，无不摧败，隋军此行，又能何为！”我们江南有王者之气。当年北齐三次进犯，北周也两次兴兵，都没能把我们怎么样，难道隋朝就能比他们强？既然天命在此，加强防守干什么，那岂不是对隋朝示弱？
陈叔宝不知道哪里来的自信，孔范借机拍马屁说：“长江天堑，古来限隔，虏军岂能飞度？边将欲作功劳，妄言事急。臣自恨位卑，虏若能来，定作太尉公矣。”说隋军插着翅膀也飞不过长江，边将们都想立功，才把军情说得如此严重，自己正嫌官职小，如果他们真打过来，就让自己替陛下将他们击退，到时候，陛下可别忘了封自己做太尉啊。
此时有人妄称隋军的马在路上死去很多，孔范更是肆无忌惮地吹牛说：“此是我马，何为而死？”这些即将都是我们的马，为何要死掉呢？陈叔宝被逗得哈哈大笑，觉得没有什么大事，继续饮酒作乐。
有这样的君臣，陈朝不灭亡，天理不容！
彻底放松下来的陈叔宝办了一件更为荒唐的事情：在战局如此紧张的情况下，他下令将沿江重镇的将帅召回建康，参加元旦朝会。又命令附近舰队开到建康附近，准备搞一个新年“阅兵”，这样一来使得江防实力大为减弱。
隋军抓住战机顺利渡过长江，打头阵的正是高颎当年向隋文帝推荐的贺若弼和韩擒虎。
贺若弼为渡江做了充分准备，他采用了兵不厌诈的策略，先是大量购置船只，然后又将船只藏匿起来，找了五六十艘破船故意停在港汊内。陈军的探子看到这样的情况后，误以为隋军没有像样的战船。贺若弼又下令部队换防时，要大张旗鼓，还让士卒往江对岸射箭，很有仪式感，正当陈军准备集结迎敌时，隋军便匆匆离去，这样的换防表演搞了许多次，陈军开始还比较紧张，到后来见怪不怪，习以为常了。
开皇九年(589年)正月初一，贺若弼带着八千人从广陵渡江，几乎没有遇到任何抵抗，顺利抵达对岸。同夜，韩擒虎率领五百士卒在横江(今安徽和县东南)渡江，袭击采石(今安徽马鞍山西南)，守城的陈军因为欢度除夕都喝醉了，韩擒虎不费吹灰之力便一举拿下。
直到正月初四，陈叔宝才感到有些不对劲，根据军情判断，隋军已经成功渡江，于是紧急下诏说：“犬羊陵纵，侵窃郊畿，蜂虿有毒，宜时扫定。朕当亲御六师，廓清八表，内外并可戒严。”在建康实施戒严，并声称自己要御驾亲征。又以骠骑将军萧摩诃、护军将军樊毅、中领军鲁广达并为都督，司空司马消难、湘州刺史施文庆并为大监军，分兵扼守要害；又命大将樊猛率师出白下(今江苏南京北剑门外幕府山南麓，北临长江)，皋文奏镇守南豫州(今安徽宣城)，同时大肆扩兵，连僧尼道士也悉数征召入伍。
只是，一切都晚了！
贺若弼、韩擒虎渡江后势如破竹，正月初六，贺若弼率部攻占京口(今江苏镇江)，俘获南徐州刺史黄恪。进军路上，贺若弼军军令严明，秋毫无犯，“有军士拿民间一物者，立斩不赦”。而且还优待俘虏，京口之战生俘六千多陈军，全部释放，还发给他们粮食，完全称得上是一支文明之师、威武之师。更为重要的是，贺若弼让这些被释放的俘虏带上隋文帝痛斥陈叔宝罪名的诏书，到各地散发，由此陈朝不仅军队垮了，民心也散了。
韩擒虎部虽然人少，但过程一样顺利，进攻姑孰(今安徽当涂)，半天时间就攻了下来，紧接着又夺取了新林。“江南父老素闻其威信，来谒军门，昼夜不绝”，江南的老百姓常听到他的威名，都来军门拜见他，昼夜不断。陈将非常害怕，樊巡、鲁世真、田瑞等陆续投降了韩擒虎。
就这样，贺若弼和韩擒虎从两个方向对建康形成了夹击之势。贺若弼分兵曲阿(今江苏丹阳)，阻止三吴地区的陈军增援建康，他亲率主力进攻建康。韩擒虎也率部沿着长江逼近建康。
陈叔宝此时才意识到问题的极端严重性，虽然建康城里有守军十多万人，而过江的隋军不过万余人，但天天醉生梦死的陈叔宝哪里见过这样的阵势，只会天天躲在宫里哭鼻子，将京城防务交给施文庆负责。
施文庆只会拍马屁，根本就不懂军事，众将平日对他都很痛恨。他知道局势到了如此地步，担心这些将领立了军功后，反过来收拾自己。于是，他对陈叔宝说：“这些将领一直牢骚不断，平日里就对陛下不满，在这个关键时刻，不能完全听他们的。”陈叔宝觉得有理，对将领们提出的很多意见都不采纳。
不过，打仗毕竟还要依靠武将，建康周边出现隋军前锋后，陈叔宝慌作一团，赶忙召集萧摩诃、任忠等大将商议退敌之计。两位大将对作战计划发生分歧，萧摩诃主张应主动出击，理由是隋兵孤军深入，立足未稳，如果偷袭，定可奏捷。而任忠建议坚守宫城，他给出的理由是“兵法有云，客军贵速战速决，主军贵老成持重，如今国家足兵足食，应当固守。北兵若来，不与交战，分兵截断江路，使他们彼此音信不通，然后给我精兵一万，金翅船三百艘，直趋六合，敌人必以为渡江之兵已被我俘获，自然夺气。淮南百姓，与我有旧，知我前往，必然欢迎。我声言去徐州断彼归路，则敌军必不击自去。待来春水涨，上流我兵必沿流赴援，这样，陈朝江山就可保了。”
任忠的这个建议包含几个意思，一是陈军兵足粮丰，应该固守台城，不要轻易出战；二是可以分兵截断长江水路，使得隋军音信无法相通；三是他可以率精兵一万，战舰三百艘，突袭六合镇晋王杨广所在地，他们看到陈军，肯定认为过江的隋军均被消灭，士气会大为低落；四是努力坚守到春天雨水上涨时，上游的水军将领周罗睺就可以顺流而下，一举荡平。
任忠虽然讲得头头是道，但有几分把握，大家心里都没有底，别说渡江攻击杨广，就连宫城能否守得住都没有胜算，大概率是画饼充饥，所以陈叔宝并没有采纳。但是他也没胆子主动出击，就这样琢磨了整整一夜，第二天表态说：“兵久不决，令人腹烦，可呼萧郎一出击之。”两军对峙这么久，使人感到心烦，不如请萧摩诃干一场，批准了主动出击计划。
任忠依然坚持自己的意见，但孔范却支持萧摩诃，并说了一通恭维话，表示“请作一决，当为官勒石燕然”，请求陈叔宝下令主动出击，他要像当年窦宪大破匈奴一样建功立业。这无疑于痴人说梦，但对陈叔宝而言却很受用。
在建康的十万陈军在萧摩诃的指挥下开始反击，双方力量对比悬殊，贺若弼手下只有不到一万人。因此，隋军大本营发来命令要求贺若弼固守待援，等后续大军赶到再发动进攻。贺若弼原本也这样想，但他仔细观察后发现陈军摆的是一字长蛇阵，从南到北，依次是鲁广达、任忠、樊毅、孔范、萧摩诃，长达二十多里，首尾不能相顾，这意味着只要集中兵力击溃其中的一部，便很容易使其集体溃败。
贺若弼觉得战机难得，立功心切，决定不等大军到来，率先展开攻击。他率部杀入敌阵，首先与鲁广达的人马开战，没想到鲁广达的战力不弱，一会儿工夫，隋军已经阵亡两三百人。贺若弼只好率部边打边退，但是没想到，陈军并没有乘势狂攻，而是纷纷争抢隋军死去士兵的人头，跑回去请求赏赐，这给了贺若弼喘息之机。他转而率部攻击孔范的队伍，孔范压根就没打过仗，与隋军一交手便败下阵来。
令人奇怪的是，本来战力最强的萧摩诃却一直按兵不动，原来在此之前，他得到一个消息，自己最心爱的妻子竟然和陈叔宝有奸情，被戴了绿帽子的萧摩诃不愿再为这样的主子卖命了。陈军四散而逃，萧摩诃被生擒，贺若弼下令将其拖出去斩首，但见其面不改色，欣赏他的忠勇，于是松绑，以礼相待。
萧摩诃被俘后，任忠跑回宫城，向陈叔宝报告战况，表示陛下好好保重，自己已经无能为力。陈叔宝看到任忠要撂挑子，赶紧拿出两大箱金子给他，让他出城去招募勇士。任忠让陈叔宝抓紧收拾细软，坐船去投奔中上游的陈军，他将拼死护卫。
陈叔宝信以为真，让任忠出城安排，下令让宫中妃嫔整理行装，等待任忠回来。没想到，任忠出了宫城，便向朝这里进发的韩擒虎投降，并且引导隋军杀回了宫城。到了朱雀门，有一些陈军试图抵抗，任忠大喊道：“我这个老汉都投降了，你们还想做什么？”陈军一听，一哄而散。
在宫中一直等不到任忠的陈叔宝觉得大事不妙，环望身边，那些天天陪着自己吃喝玩乐的狎客和宠臣早已不见踪影，只有经常劝谏的尚书仆射袁宪还留在身边，陈叔宝对他感怀道：“我平时对你并不好，没想到最后留下的是你，实在让人惭愧，到了今天这个地步，不是我无德，江东的这些衣冠人士，一个个都没有道义和担当。”
陈叔宝死到临头，把全部责任居然推给了“江东衣冠”身上。对此，柏杨先生评价道：“亡国之君往往以无比的勇气，奔向悬崖绝壁，凡阻止他或想要拉住他的人，都会被他诛杀。可是当他一头撞向谷底时，却痛恨那些未被他诛杀的朋友，当初为什么不肯劝他一句或拉他一把，尤其痛恨他们竟然不肯同自己一起摔死。于是，陈叔宝诟骂江东知识分子丧尽道义，朱由检诟骂群臣都是亡国之臣，希特勒诟骂德国人堕落，竟拒绝为他一个人而全体送命。”
陈叔宝很快就听到了喊杀声，他第一反应是找地方躲藏。袁宪劝阻说：“隋军已来，陛下能躲到哪里？”他建议陈叔宝像当年梁武帝萧衍一样，面对侯景之乱的叛军，整理衣冠，端坐正殿，保持皇帝的威严。但对于胆小如鼠的陈叔宝而言，完全是对牛弹琴，陈叔宝说：“刀剑之下，不可乱试运气，我自有妙计。”他带着张丽华、孔贵嫔，跑到了景阳殿旁的一口枯井边，想躲在深井中避难。
袁宪苦苦相劝，另一位老臣夏侯公韵甚至用身体挡住井口，不让陈叔宝下去。别看陈叔宝平时文弱，强烈的求生欲望使他突然充满了力量，生生把夏侯公韵推开，带着两个妃嫔径直爬入井中。
隋军进入宫城后找不到陈叔宝，有人告知其躲在枯井中，隋军对着井口喊话，一直无人应答。隋军威胁要往井中投石，陈叔宝这才说话。隋军放下绳子想将他拉出来，没想到，几位军士一起竟然无法拉动绳子。原本以为是陈叔宝过于肥胖，加了人手，好不容易拉上来后，才发现绳子的那头不是一个人，而是三个人。据说粉面黛目的两个嫔妃脸上的胭脂擦着井口，井口上面留下了红色的痕迹，后人把这口井叫作“胭脂井”，为了记取陈叔宝亡国的教训，也被称为“辱井”。宋代王安石写了一首《辱井》：“结绮临春草一丘，尚残宫井戒千秋。奢淫自是前王耻，不到龙沉亦可羞。”
就在韩擒虎俘获陈叔宝时，贺若弼率部仍在苦战，鲁广达领军拼死抵抗，挡住了通向宫城的道路，一直战斗到黄昏，陈军大部分战死。鲁广达面向宫城，跪拜痛哭，对部下说：“我身不能救国，负罪深矣。”士卒们也都感动得涕泪俱下。鲁广达随后被隋军所俘，这是整个建康保卫战中最感动人的一幕。
贺若弼终于从北掖门进入皇宫，听说陈叔宝已经被生擒，便令人将其押解到面前问话。陈叔宝早已没有当皇帝时的神气劲儿，惊慌恐惧，汗流浃背，抖成一团。一见贺若弼就要下跪磕头，贺若弼说：“小国之君，地位和大国重臣相当，向我磕头，不算过分。进入大隋后，还能封个归命侯，无须太恐惧。”当年东吴末代皇帝孙皓被俘，就被西晋皇帝司马炎封为“归命侯”，陈叔宝听后心里多少有些宽慰。
贺若弼、韩擒虎能顺利攻克建康，杨素统率的隋军在中上游的牵制起到了重要作用。相比于贺、韩两人的势如破竹，杨素的仗打得非常惨烈。陈朝荆州刺史陈慧纪派南康内史吕忠肃率军屯守歧亭(今长江西陵峡口)，在长江两岸岩石上凿孔，连接三条铁索横截江面，阻遏隋军战船。杨素分兵一部猛攻陈军岸上栅障营垒，吕忠肃率军据险抵抗，激战四十余次，隋军伤亡惨重，战死五千余人。陈军争相割下隋军战死士兵的鼻子以邀功求赏。
但与此形成鲜明对照，对于俘获的陈军将士，杨素非但没有下令报复，反而全部释放。这使得吕忠肃所部军心逐步瓦解，在隋军的猛烈攻击下，无力抵挡。吕忠肃被迫放弃营栅，连夜逃走。杨素令士卒毁掉拦江铁索，继续沿江而下。吕忠肃退据荆门之延洲(今湖北枝江附近长江中)，依恃荆门山险要地形，再次阻遏隋军。杨素派善于驾舟的巴延士卒一千人，乘“五牙”战舰四艘，用舰上拍竿击碎陈战船十余艘，俘获二千余人，再次大破吕忠肃军，吕忠肃只身逃走。
屯守公安(今湖北公安西北)的陈慧纪见形势不利，烧掉物资，率军三万、战船千余艘，顺流东撤，企图入援建康(今江苏南京)，被秦王杨俊军阻于汉口(今湖北汉水入长江之处)以西，不能前进。
建康陷落后，杨广令陈叔宝写信给陈军在长江中游的将领，命令他们放下武器。周罗睺、陈慧纪等接到陈叔宝的旨意，哭泣了三天，解散部队，让士卒返回故乡，然后向隋军投降。自此，长江中上游完全平定，杨素沿江东下，与杨俊在汉口会师，派手下大将刘仁恩南下湘州(今湖南长沙)，擒获南陈岳阳王陈叔慎，为进军岭南准备了前进基地。
建康城内，贺若弼和韩擒虎两大功臣正为争功闹得不可开交。虽然贺若弼消灭了隋军主力，但最早冲进宫城擒获陈叔宝的却是韩擒虎，在外人看来，头功无疑属于韩擒虎。这让贺若弼相当不忿，觉得韩擒虎是下山摘桃子，而韩擒虎则认为自己指挥得当，孤军深入方才取得首功。
两人互不相让，不停争吵，贺若弼甚至拔出了刀剑，幸亏其他隋军将领赶来将两人拉开，这才没有发生火并。就在此时，负责灭陈军事指挥的元帅长史高颎进入建康，进城后做的第一件事情便是杀掉陈叔宝最喜欢的女人张丽华。
关于张丽华之死，历来有两种说法，第一种说法是杨广早就听说张丽华貌美如花，想纳她为妃，于是叮嘱高颎进城后一定要将张丽华保护好。但是高颎没有听他的，觉得张丽华红颜祸水，始终是个祸患，于是将她杀掉。《隋书》里记载：“晋王欲纳陈主宠姬张丽华。颎曰：‘武王灭殷，戮妲己。今平陈国，不宜取丽华。’乃命斩之，王甚不悦。”高颎这样做，搞得杨广非常生气，也为他最后悲惨的结局埋下了伏笔。
《资治通鉴》沿袭了《隋书》的记载，并对此事的经过描述得更为详尽：“高颎先入建康，颎子德弘为晋王广记室，广使德弘驰诣颎所，令留张丽华，颎曰：‘昔太公蒙面以斩妲己，今岂可留丽华！’乃斩之于青溪。德弘还报，广变色曰：‘昔人云，‘无德不报’，我必有以报高公矣！’由是恨颎。”
还有一种说法是杀掉张丽华的不是高颎，恰恰是杨广。《陈书》里说：“及隋军陷台城，妃与后主俱入于井，隋军出之，晋王广命斩贵妃，榜于青溪中桥。”《南史》同样记载：“晋王广命斩之(贵妃)于清溪中桥。”
比较而言，似乎后者更接近于历史真相。这是因为，一来虽然当时高颎负责指挥作战，但杨广是行军元帅，决策之权掌握在杨广的手里。高颎作为一个聪明人，不会擅作主张杀掉张丽华，高颎在开皇九年(589年)正月甲申入建康，只隔了一天，杨广便也入了建康。杨广入城之后，下令斩杀了陈国的五大佞臣施文庆、沈客卿、阳慧朗、徐析、史暨慧。连施文庆、沈客卿这些人，高颎都不敢擅自处理，留给杨广定夺，又怎么会抢先对更重要的人物张丽华下手呢？
二来当时杨广对太子之位已经有想法，行为举止非常谨慎，所谓“矫情饰行，以钓虚名”，他很清楚母亲独孤皇后“性忌妄媵”，一生最看不惯男人拥有三妻四妾。父皇又最听母亲的，隋文帝都不敢广纳嫔妾，致使六宫虚设。杨广为了“取媚于后”，除了正室夫人萧妃外，远离其他女人，怎么会为一个早为人母的张丽华，去招惹母亲不高兴而断送政治前途呢？还有一个细节不容忽视，当时杨广才十九岁，而张丽华已经三十一岁了，二者年纪相差太大，杨广也不大可能收张丽华为妾。
为何《隋书》这样抹黑杨广呢？主要原因或许是这本史书是唐太宗令魏徵等人编写的，只有把前朝亡国之君刻画得跟桀、纣一样荒淫无耻，才能彰显唐代隋是正义行为，是以有道伐无道。魏徵圆满完成了任务，将杨广记述成了与桀、纣相提并论的奢欲皇帝。另外，唐太宗特别推崇高颎，曾说过“隋之安危，系其存没”之类的话。魏徵安排高颎私斩张丽华情节，正好起到黑一个、捧一个的目的，可谓一举两得。
事实上，杨广进城后做了不少得人心的事情，一方面命令陈叔宝发令招降各地陈军将领，减少了不必要的伤亡；另一方面让高颎与元帅府记室裴矩“收图籍，封府库，资财一无所取”，只整理图书，封存仓库，陈朝宫里的各种珍宝，他一件也没有拿。同时严令军队“秋毫无所犯，称为清白”，杨广进城后的所作所为可圈可点，迎来一片赞誉，“天下皆称广，以为贤”。
陈朝各地抵抗渐渐平息，只剩下了岭南地区，这里的首领是位传奇女子，名为“冼夫人”。她是土生土长的岭南人，两广地区的俚族女首领。在乱世之中，她组织当地民众，维持境内治安，抵御外来侵袭，拥有非常高的声望，被当地人称为“圣母”。陈朝册封冼夫人为中郎将、石龙太夫人，和刺史一个级别。
杨广让陈叔宝写信给冼夫人，告诉她陈朝已灭，希望她能够归附隋朝。冼夫人审时度势，统领岭南和平归顺隋王朝，这也让她名留青史。
冼夫人历经梁、陈、隋三朝十帝，始终秉持“唯用一好心”，顺应历史潮流和百姓意愿，坚决不独立、不称王，矢志不渝地维护国家统一、民族团结，维护了珠江流域很长一段时期的稳定和发展，促进了岭南的民族融合和社会、文明进步。民间尊奉她为“岭南圣母”“南天圣母”“南海保护神”等，目前海内外有冼夫人庙宇和纪念馆逾两千座。
隋文帝终于实现再造统一的伟业，这足以使他在史册中千古留名。自西晋永嘉之乱后，几百年来，华夏大地陷入了空前的分裂、混乱和黑暗中，重新实现天下统一成为不少旷世枭雄的梦想。无论是前秦的苻坚，北魏的孝文帝，还是宇文泰、宇文邕，都为之付出了巨大的努力，但最终都功亏一篑，留下遗憾，隋文帝却成功完成了伟大的历史使命。
“大一统”不仅实现了隋文帝的夙愿，对于天下苍生而言更是盼望已久。乱世之中，兵荒马乱，相互屠戮，人如草芥，百姓对民族和睦和国家统一充满了渴望，希望过上和平安宁的生活。更重要的是，隋朝的统一开创了中国历史上继秦汉以后第三次华夏统一的局面，再次将黄河流域、长江流域和珠江流域联系在一起，使得中华文明得以传承和光大！
隋文帝迎来了属于自己的高光时刻。开皇九年(589年)四月二十二日，伐陈大军凯旋，他在大兴城举行了隆重的献俘仪式。排在头名的自然是陈叔宝，其次是陈朝的几位亲王，然后是各位重臣和将领。
过了一日，隋文帝登上广阳门，举行赦免仪式。礼仪官员将陈叔宝及其太子等带到门前，隋文帝命人宣读诏书，斥责陈朝君臣不能团结，所以才最终灭国。这样说实在有些得了便宜卖乖的意思，不过，陈叔宝如今是个亡国之君，只能静静听着，大气都不敢出。
虽然把国家搞灭亡了，但陈叔宝算是个幸运儿。隋文帝不仅没有杀了他，反而给予相当的优待，准许他以三品官员身份上朝，还经常邀请他参加宴会，更为体贴的是，因为害怕陈叔宝伤心，特意要求宴饮中不准演奏江南音乐。
但陈叔宝并没有把亡国当回事，有一次，负责监视他的宦官向隋文帝报告，说陈叔宝觉得没有官职入朝不便，想让皇帝赐他一个官位。隋文帝听后叹道：“陈叔宝完全没心没肺！”陈叔宝几乎天天喝高，很少有清醒的时候，隋文帝开始还劝他少饮酒，但根本没有用，后来也就不劝了，说：“由着他的性子喝吧，不这样，他怎么打发日子？”过了一阵子，隋文帝见到陈叔宝问他有何嗜好，陈叔宝答道“好食驴肉”，又问他每日饮酒多少，陈叔宝说：“每日与子弟饮酒一石。”如此酒量着实把隋文帝惊了一下。
仁寿四年(604年)，隋文帝东巡邙山，陈叔宝奉诏前往，他在宴会上赋诗道：“日月光天德，山河壮帝居。太平无以报，愿上东封书。”这是一首典型的拍马屁之作，恭维隋文帝的文治武功，还顺便奏请封禅泰山。
隋文帝后来邀请陈叔宝宴饮，结束以后，他目送陈叔宝的背影对左右道：“他的败亡难道不是因为酒吗？与其在作诗上下功夫，不如用来考虑安定时事政局。当初贺若弼渡过长江拿下京口时，就有人向陈朝密信告急，可陈叔宝还在饮酒，根本不看。一直到高颎抵达建康，才发现密信就扔在床底下，压根儿没打开过。这件事可笑至极，说明是上天要陈朝灭亡。”
隋文帝将陈朝亡国的原因归结于陈叔宝饮酒作诗，有些简单化了。事实上，从陈叔宝上一任陈宣帝陈顼发动的北伐失败后，就注定了这样的结局。陈朝国力日渐衰微，再加上丧失江淮地区，没有了战略纵深，长江防线成为唯一救命稻草，陈叔宝的荒唐作为，只是将最后的救命机会也丢掉了。
陈叔宝虽然亡了国，但却保全了自己的性命。在灭国十六年后，他在洛阳病死，活了五十二岁。他能顺利活到自然死亡，和他被俘后所表现出的没心没肺有很大关系。有些令人想不到的是，不仅他寿终正寝，陈叔宝的后代都过得不错，他的十一个儿子后来都在隋唐为官，三个女儿中两个嫁给了隋炀帝杨广，另一个嫁给秦王杨俊。历朝历代的亡国之君，他的境遇应该算是最好的吧？
成功平灭陈朝后，隋文帝论功行赏，晋王杨广作为前线统帅指挥有方，被任命为太尉，杨素进爵为越国公，他的儿子杨玄感受封仪同三司，另一个儿子杨玄挺为清河郡公，赏赐绸缎一万匹，粟米一万石。
隋文帝在封赏时也遇到了一个难题，便是如何平衡贺若弼和韩擒虎。两人在建康争功，如今又在隋文帝面前吵了起来，贺若弼说：“我在蒋山苦战，击破陈国精锐，生擒陈军将领。而韩擒虎没有打几个硬仗，生擒陈叔宝完全是捡便宜。”韩擒虎力争道：“我得到明确指令，和贺若弼同时发动攻击。但贺若弼违背军令，先行出击，结果遇到陈军主力，死伤惨重。我只带着五百人成功攻入宫城，降服任忠，活捉陈叔宝，直到晚上，贺若弼才逼近北掖门，是我打开城门接他入城，他连赎罪都来不及，怎么和我相提并论？”
隋文帝看到两人互不相让，争得脸红脖子粗，宽慰道：“你们两人都是一等功臣。”于是，升任韩擒虎为上柱国，赏赐绸缎八千匹。赐贺若弼御座，进位上柱国，封爵宋国公，还把陈叔宝的妹妹赐给他做妾。
相对于韩、贺二人，在前线负责整体统筹指挥的高颎显得很谦逊，他说：“贺若弼呈上灭陈十条，后又在蒋山苦战，击破陈军，我是一个文职人员，怎么敢和大将军相比？”隋文帝听后很欣赏高颎的低调，授他上柱国，并封齐国公。
在对各位功臣进行赏赐的同时，隋文帝还抓住机会，通过对陈朝臣子的赏罚，对文武百官进行了一次成功的“保持臣节”的主题教育活动。对袁宪、萧摩诃、任忠等不仅没有处罚，反而授予官职。特别是对敢于直谏、忠心耿耿的袁宪，隋文帝称赞他的节操是江东第一人，不仅授予开府仪同三司，还任命他为昌州刺史。而对孔范、王仪等祸国殃民的佞臣则全部流放边地。
这样，天下一统，边患消除，终于可以刀枪入库、马放南山了。隋文帝下诏除了守卫宫城的禁军和镇守四方的边防军外，其余部队一律解散，武器全部收回，将领的子弟都要读书学习儒家经典，民间所藏的铠甲武器统统销毁。
只是，令隋文帝万万没想到的是，就在这条诏令下达没多久，江南发生了史无前例的大叛乱。
在隋文帝灭陈之前，南北分裂长达三百余年，虽然依靠武力实现了统一，但让江南民众心悦诚服地接受隋朝的统治，并不是件容易的事情。隋文帝觉得要实现这个目的，最重要的是要强化思想认同。于是他让苏威选出《尚书》中父义、母慈、兄友、弟恭、子孝的五教内容，加上自己的解读，编成《五教》，要求江南百姓，无论男女老少、身份贵贱，都要将《五教》背得滚瓜烂熟。这有些太难为老百姓了，《五教》是教人封建伦理道德的，本来就够复杂，苏威还在里面加了很多华丽的文章，大部分人根本背不下来。苏威采取高压措施，下令对背不下书的老百姓轻则暴揍一顿，重则关进监狱受罚。搞得“士民嗟怨”，江南百姓怨声载道。
隋文帝还听从苏威的建议，将江南地区州县级的官吏全部换成北方人，因为北人熟悉隋朝律法，在推行政策的时候更加方便。同时，还在南方开始大力推行“大索貌阅”，清查户口与隐匿不报逃避赋税的田地。这样一来，不仅使得江南豪强无官可做，还要乖乖交出户口，他们对隋朝产生了强烈的排斥和怨恨之心。隋文帝摆出一副“征服者”的姿态，一系列操之过急的举措，最终把江南的豪强士族和普通百姓全部得罪，一场轰轰烈烈的反抗运动已在所难免。
很快在当地开始盛传一则谣言，说隋朝不仅要把陈朝的官员、文人迁往北方，而且要把普通百姓也赶往北方。南方的大族豪强利用百姓担心被移民北方的惊恐心理，趁机煽动叛乱。
开皇十年(590年)十一月，婺州(今浙江金华)人汪文进、越州(今浙江绍兴)人高智慧及苏州人沈玄懀等均举兵反隋，自称天子，署置百官。蒋山(今南京钟山)人李忮、乐安(今浙江仙居西)人蔡道人、温州(今浙江温州)人沈孝彻、泉州(今福建泉州)人王国庆等，都自称大都督，起兵攻陷州县。原来南陈地盘的所有州县几乎全部叛变，规模大的有数万人，小的有数千人。当时江南户籍人口才二百万，其中三十多万都参加了造反，他们攻陷城池后，逮捕隋朝任用的官员，进行残忍的报复，有的官员肠子都被抽出来，有的官员则被剁成了肉酱。
隋文帝只好暂时放下太平思想，赶紧组织平叛，他选中的领军统帅是杨素。这是因为杨素治军严格，屡立战功，在平陈之战中发挥出色，打出了威风，而且对江南的情况也比较熟悉，是当仁不让的最佳人选。不过，平叛并不比灭陈轻松，因为叛军人数众多，比较分散，每座山岭、每个山涧都有可能藏有叛军，搞不好会陷入进退失据的窘境。
杨素率军由扬子津(今江苏扬州南)渡江，首先于京口(今江苏镇江)击破自称南徐州刺史的叛军朱莫问；继而击败晋陵(今江苏常州)的顾世兴，顾世兴率其都督鲍迁等再战，杨素再次取胜，俘鲍迁以下三千余人；接着消灭了无锡的叶略。当时沈玄懀、沈杰等正围攻苏州，隋朝刺史皇甫绩打了败仗，杨素军赶到将其击败，沈玄懀逃至南沙人陆孟孙处，杨素进击陆孟孙于松江，取得大胜，生擒陆孟孙、沈玄懀。
杨素开局非常不错，连战连捷，下一目标便是高智慧。高智慧率部据守浙江(今钱塘江)东岸营垒，屯据要害，周围百余里，船舰千艘，遮盖江面，气势很盛。总管来护儿向杨素建议说：“吴人轻快敏捷，非常善于用舟楫作战。他们抱着必死的决心，难与争锋。您暂且严阵以待，切勿与其交锋，请借我奇兵数千，悄悄渡过江，攻破他们的巢穴。让他们退无所归，进不得战，这是韩信破赵的计策。”杨素采纳了来护儿的建议，命其率轻型战船数百艘，偷渡浙江，焚烧高智慧后方营垒。遇到奇兵突袭，高智慧大为惊恐，杨素则乘机率军从正面突击，大败高智慧军。
紧接着杨素派行军总管史万岁率军两千人进攻婺州。史万岁带着兵马一路翻山越岭，转战一千多里，历经七百多次战斗，击败叛军无数，因为他们一直在山里转悠，和外界完全失去了联系，因此所有人都以为史万岁所部全部覆灭了。结果有人在水中看到了从上游漂下来的一个竹筒，筒里有史万岁书写的一封信。这是他想出的主意，置书信于竹筒之中，浮于水上，顺流而下，让外界知道他们的情况。史万岁的运气很好，这封信最终被交于杨素手中，杨素知道这支队伍无恙，大喜过望，上奏隋文帝。隋文帝接报后赞叹不已，赐史万岁家钱十万，官拜左领军将军。
杨素率主力由海道追击逃入海中的高智慧，直趋温州。高智慧来战，杨素将其击败，俘数千人。而后又平定蔡道人、汪文进。杨素继续由陆路转向天台、临海继续追击叛军散兵，前后战斗达一百多次，迫使高智慧退守闽、越一带，投奔另一个叛军首领王国庆。
经过一连串的战斗，杨素基本控制住了局势。此时隋文帝考虑到杨素长时间在外征战，为了表示体恤之情，诏令杨素入朝休整。而杨素则认为：“贼寇的余部尚未全部被消灭，恐怕会成为后患。”便上书请求暂缓返京，继续剿匪。
隋文帝对杨素此举非常赞赏，便下诏说：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，逃亡山洞，恐其聚结，重扰苍生。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事务，一以委之”，对杨素的忠诚担当大大赞扬一番。
杨素继续率军由会稽(今浙江绍兴)走海道向泉州追击。在泉州称帝的王国庆认为海路险阻，而隋军多为北方人，不习海战，一时半会儿不会到来，因此没有设防。突然得知杨素从海上而来，顿时慌了，弃城跑路，他的党羽都逃到各个海岛和溪洞。于是杨素分遣诸将进行追捕，并派人劝说王国庆：“你的罪状，累计起来处以死刑还不够。只有斩送高智慧，才可以将功赎罪。”走投无路的王国庆只好将高智慧送交隋军，杨素将其斩首，余众全部投降，至此，江南全部平定。
隋文帝听到叛乱平定的消息，相当兴奋激动，派左领军将军独孤陀在半途迎接慰劳胜利班师的杨素。杨素回京后，隋文帝亲自到府上问候，给予他十分丰厚的赏赐。
开皇十二年(592年)十二月，立下赫赫战功的杨素取代苏威为尚书右仆射，与尚书左仆射高颎同掌朝政，达到了仕途的新高峰。苏威的罢相，引发了隋朝朝廷内部的一次地震。苏威深受隋文帝器重，身兼数职，隋文帝对他几乎言听计从，权倾朝野。但有个人却不买账，此人是国子学博士何妥。
何妥生性耿直，口才也不错，经常和苏威对着干。苏威曾对隋文帝说：“我的先父常常告诫我说，只要通读《孝经》一卷，就足以立身治国，何必多学！”何妥对苏威所说不以为然，他向隋文帝进言道：“苏威所学，不止《孝经》一卷。他父亲倘若确实说过这话，那么，苏威就没有听从父训，这说明他不孝顺；假如他父亲根本没有说过这番话，那么，他就是公然在皇上面前说谎话，这说明他不忠诚。既不忠，又不孝，这种人怎么能侍奉皇上？”
开皇十二年，苏威定考文学，两人又叫上了板，苏威勃然大怒说：“无何妥，不必担心无国子学博士！”何妥应声说：“无苏威，也不必担心无人管理国家大事！”反正是谁也不服谁。
何妥精通音律，隋文帝下令让他和苏威的儿子苏夔共同负责修乐。但两人因意见不一致产生纷争，隋文帝让朝臣们表态赞同哪一种意见，因为苏威的权势，大部分人都站到了苏夔这一边。这可把何妥激怒了，以往和苏威争来争去，二人旗鼓相当，何妥也就认了。但是这次，竟然败在晚辈手里，何妥勃然大怒道：“我当国子学博士四十年，现在反倒比不过一个乳臭未干的毛头小子？”
于是，何妥到处收集苏威的黑材料，然后上奏弹劾，理由是苏威结党营私、把持朝政。苏威小集团的成员主要包括礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和等。当时，朝臣们在官衙中称呼王弘为世子，称李同和为小叔，意思是他们就如同苏威的儿子和兄弟。此外，何妥还指控苏威滥用职权，让堂兄弟苏彻、苏肃作假为官。
由修乐的不同意见变成了朋党之争，性质完全发生了变化，历来君主最担心的就是臣子之间私下结党，都把朋党当作严防和严查的对象，即使是皇帝的心腹大臣也不例外。
因此，隋文帝一听“朋党”这个词，大为震惊，立即命蜀王杨秀、上柱国虞庆则等人全面调查，结果发现何妥举报的事情件件属实。于是，隋文帝召来苏威，让他读《宋书·谢晦传》中朋党事件的部分，苏威惶恐畏惧，摘下帽子叩首，隋文帝说：“已经晚了。”下令免去苏威所有的官职，一百多人受到牵连而获罪。
杨素就这样取而代之。不过，杨素的高升让贺若弼感到很不爽，平陈以后，贺若弼自我感觉非常良好，常常以宰相自诩，但如今杨素走上了相位，而自己还是原地踏步，因此心里有些失衡，经常发一些牢骚。隋文帝对其不满，免去了贺若弼的官职，但他依然毫不收敛。于是，隋文帝下令将其逮捕入狱，责问他说：“我任命高颎、杨素为宰相，你却经常在大庭广众之下说他们是酒囊饭袋，这是什么意思？”贺若弼答道：“高颎是我的老朋友，杨素是我的小舅子，我对他们知根知底，所以才敢说这样的话。”
朝臣们认为贺若弼不思悔改，纷纷上书要求对其处以极刑。隋文帝让贺若弼拿出可以活命的理由，他又说起了灭陈的功劳：“我依仗陛下的神威，率八千人率先渡江，生擒陈叔宝，希望这个理由可以使我活命。”隋文帝表示对此已经有过赏赐，不能老拿这个说事，贺若弼说：“我过去受过额外重赏，现在盼望额外活命。”隋文帝犹豫几天，觉得贺若弼确实立下了大功，于是免他一死，除名为民。八年后，重新恢复了他的官职，但不再给他实权，只是每次宴请赏赐时，对贺若弼还是比较优厚。
二将争功的另一位韩擒虎，灭陈后有人举报韩擒虎在南陈放纵部下强奸和抢劫。因为这个罪状隋文帝不对他加封爵邑。有一次突厥派使者来觐见，隋文帝问他们说：“你们听说江南有陈国天子吗？”他们回答说：“听说过。”隋文帝让侍从领突厥使臣到韩擒虎面前，说：“这就是捉获陈国天子的人。”韩擒虎很入戏，怒目圆睁，狠狠地看了使臣们一眼，他们非常恐惧，不敢抬头看他。隋文帝很高兴，授他凉州总管之职，防备突厥的侵袭。
不久，韩擒虎因为身体原因返京，隋文帝在内殿为他设宴，“上宴之内殿，恩礼殊厚”，给予了极高的礼遇。就在贺若弼被关进大牢的那一年，韩擒虎因病去世，活了五十五岁。而贺若弼没有像韩擒虎这样幸运，能够安然逝去。大业三年(607年)，杨广在北巡时，设立了容纳数千人的大帐，贺若弼认为这太奢侈了，“与高颎、宇文弼等私议得失”。这件事被人告发，杨广大怒，将贺若弼处死。
曾经因为争功闹得不可开交的两位功臣，各自以不同的方式落幕了。