杨广走向滑落的轨迹，除了自身的原因外，和他的用人不无关系。杨素是杨广最倚重的大臣，可惜在杨广称帝的第二年，他就因病去世了。
杨素在隋朝历史中是个极为重要的人物，也是争议很大的一个人物。隋朝的每一个重要历史场景，几乎都能看到他的身影。平定尉迟炯之乱有他，南下灭陈有他，大破突厥有他，镇压江南叛乱有他，帮助杨广夺位有他，平定杨谅造反有他，如果单论对隋朝的贡献，杨素应该首屈一指。
不过，后世许多人却把他当作祸国殃民的奸臣，唐太宗李世民说：“杨素欺主罔上，贼害良民，使父子道灭，逆乱之源，自此开矣。”编撰《隋书》的魏徵说得更严重：“然专以智诈自立，不由仁义之道，阿谀时主，高下其心。营构离宫，陷君于奢侈；谋废冢嫡，致国于倾危。终使宗庙丘墟，市朝霜露，究其祸败之源，实乃素之由也。幸而得死，子为乱阶，坟土未干，阖门殂戮，丘陇发掘，宗族诛夷。则知积恶余殃，信非徒语。多行无礼必自及，其斯之谓欤！约外示温柔，内怀狡算，为蛇画足，终倾国本，俾无遗育，宜哉。”历数了杨素的罪恶，说得好像他是导致隋朝早亡的罪魁祸首。魏徵成千古史笔，使得杨素从此成为历史罪人，遗臭万年。
杨素正史精彩，野史毫不逊色。历史上非常著名的三段爱情故事都和他有关。第一个是破镜重圆，说的是陈后主的妹妹乐昌公主原本嫁给了陈朝的太子舍人徐德言。当时陈朝衰败混乱，两人担心亡国之后再难相见，于是便将一面镜子折断，夫妻两人各拿一半，约定以此为信物，如果缘分未断再续前缘。陈朝灭国后，乐昌公主流落到越国公杨素的家里，杨素对她非常宠爱。徐德言后来流离失所来到京城，乐昌公主偶然的机会看见原先的半面镜子后茶饭不思，郁郁寡欢。杨素知道来龙去脉后，派人找来徐德言，将公主还给了他，并设宴为他们饯行，两人回到江南后白头偕老。
第二个是“成人之美”，说的是李德林之子李百药，风流倜傥，看上了杨素的一个宠妾，竟然夜入杨宅，与之幽会私通，结果让杨素逮个正着。被戴了绿帽子的杨素怒不可遏，要治李百药死罪。当李百药被带上来时，他发现李百药是个“年未二十，仪神隽秀”的英俊少年郎，不禁动了恻隐之心，对李百药说：“闻汝善为文，可作诗自叙，称吾意当免汝死。”生死关头，李百药才思泉涌，一气呵成。杨素看后颇为欣赏，不仅没有杀他，竟当场把爱妾赐给李百药为妻，“并资从数十万”。后来杨素又奏请隋文帝，授李百药为尚书礼部员外郎。李百药财色兼收，而且还因此当了官，成为一时佳话。
第三个是“红拂夜奔”，说的是杨素身边有一个佳丽乐伎，名叫红拂。年方二八，生得“肌肤仪状、言词气性，真天人也”，后来被唐朝名将李靖看上了，红拂很有见识，识得英雄。趁李靖再次拜访杨素之机，两人相约私奔。杨素知道此事后，非但没有追究，反而推荐李靖出任马邑的郡丞。杨素就这样又成全造就了一段才子佳人的爱情佳话。
从这几则轶事来看，杨素不仅没有那么奸险，反倒是个宽宏大度的君子，将身边的三位宠妾都白送给了各自的相好，这份长者风度令人叹为观止。不过，这三段佳话在正史上都没有记载，都是唐朝传奇所记述。唯一可以找到痕迹的是灭陈以后，隋文帝“赐陈主妹及女妓十四人”给杨素，而他确实纳了陈叔宝的一个妹妹为妾，但至于是不是乐昌公主，史书没有说，因此“破镜重圆”更无从谈起了。
杨素的葬礼办得很隆重，这是杨广的意思，追赠他为光禄大夫、太尉公及弘农、河东等十郡太守，谥号“景武”，派鸿胪卿专门监督办理丧事，并且下诏书表示哀悼。
不过，《隋书》里说这都是杨广在演戏，表面上对杨素很恩宠，但暗地里杨广却对他很猜忌，杨素对此心知肚明。主要说了三件事：第一件事是太史官对杨广说隋地所属的分野将有重大的丧事发生，杨广因而改封杨素为楚公，因为楚地和隋地属同一分野，杨广想借杨素来拦挡遭丧的运气。第二件事是杨素卧病在床的时候，杨广常派一些有名的医生前去诊治侍候，并且赐他许多上好的药品，然而却总在暗地里问医生，怕他不死去。第三件事是杨素知道自己受猜忌，不肯吃药，也不想谨小慎微地活下去了，经常对弟弟杨约说：“我难道还要活下去吗？”
这三件事情说起来充满疑点。第一件事太过玄虚，不值一论。第二件事更有意思，如果杨广想让杨素早死，何必派名医送好药呢，这样做分明是想让杨素多活一些日子。第三件事更是“无厘头”，史书上并没有记载杨广冷落疏远杨素的事例，杨素如此激烈的反应从何而来？事实上，杨广对杨素一直非常信任和倚重，登基伊始，便晋升杨素为尚书令，赏赐给他东京上等府第一处，织物两千段。不久又拜为太子太师，其他职务不变，前后赏赐给他的东西不计其数。大业二年(606年)又拜杨素为司徒，又改封他为楚公，食邑两千五百户。
杨素死后一年，隋文帝时代另一位重臣高颎被杨广下令处死。高颎因为在太子废立问题上得罪了隋文帝和独孤皇后而被罢官。杨广即位后，拜授高颎为太常，这个职位是掌管宗庙礼仪的。杨广交给他一项任务，收集北周、北齐的乐工和天下的散乐，高颎不但拒绝接受还上奏制止，认为前两朝的音乐过于奢靡，于国于民都没有好处，搞得杨广有些不高兴。高颎后来看到杨广滥用民力，开始为大隋江山社稷担忧，他对别人说：“周朝因好乐而灭亡，殷鉴不远，怎能又这样呢？”高颎仰仗自己资格老，经常对朝政发表看法，大多是一些批评和不满，这些话传到了杨广耳中，杨广下诏以“诽谤朝政”的罪名将六十六岁的高颎杀掉，并将他的儿子都流放到边疆。
高颎执掌朝政二十多年，为隋朝做出了突出的贡献，最后却落得一个身首异处的结局，“及其被诛，天下莫不伤惜”，从此以后更没有人再敢直言了。
杨素、高颎死后，杨广重新构建自己的执政团队。主要包括纳言苏威、左卫大将军宇文述、御史大夫裴蕴、黄门侍郎裴矩、内史侍郎虞世基，这五个人在当时被称为“大业五贵”。
其中，苏威是隋文帝时代的老臣，杨广用他更多的是充充门面，为此写了一份热情洋溢的诏书给苏威，称赞他：“玉以洁润，丹紫莫能渝其质；松表岁寒，霜雪莫能凋其采。可谓温仁劲直，性之然乎！房公威器怀温裕，识量弘雅，早居端揆，备悉国章，先皇旧臣，朝之宿齿。栋梁社稷，弼谐朕躬，守文奉法，卑身率礼。昔汉之三杰，辅惠帝者萧何；周之十乱，佐成王者邵奭。国之宝器，其在得贤，参燮台阶，具瞻斯允。虽复事藉论道，终期献替，铨衡时务，朝寄为重，可开府仪同三司，余并如故。”表面显得对苏威很尊敬，同朝官员没有人能与之相比，但并没有给苏威什么实权。
宇文述一直是杨广的心腹，在帮助杨广夺取太子之位中，他穿针引线，立下大功，因此受到重用。宇文述对杨广很忠心，对朝政从来不提任何意见和建议，唯杨广是从。他知道杨广好奇心重，喜欢新鲜玩意，于是宇文述挖空心思，搞一些别人没有的东西献给杨广，“凡有所装饰，皆出人意表。数以奇服异物进献宫掖，由是帝弥悦焉”。杨广觉得宇文述很懂自己，对他格外恩宠，每收到各国的美食和贡品，立即派人给宇文述送去一份分享，以至于往返送礼的人常常在路上相遇。
宇文述仗着杨广的关系，权倾朝野，根本不把别人放在眼里。左卫大将军张瑾说了几句不中听的话，宇文述便大发雷霆，圆目怒张，吓得张瑾赶紧开溜。要知道，张瑾和宇文述级别相同，张瑾尚且如此，其他官员更不在话下。
宇文述除了仗势欺人外，还有一个坏毛病便是贪财，“知人有珍异之物，必求取之”，一些富商大贾和胡人子弟投其所好，争相送他金银宝物，并拜他为干爹，宇文述对这些人封官许愿。这样下来，宇文述家里金银财宝堆积如山，数不胜数。府上的宠妾美女也有数百人，家僮更达千余人，同时还养着许多良马。荣华富贵之盛，在当时无人能比。
裴蕴原本是陈朝的官员，但他分析觉得隋灭掉陈是早晚的事情，于是暗中派人联络隋文帝，表示愿意作为内应。陈朝被灭后，隋文帝接见陈朝官员，见到裴蕴时想起了这件事，于是提拔裴蕴为仪同之职。左仆射高颎觉得有些过了，进谏说：“裴蕴无功于国，所受的恩宠却超过了同辈，我认为此举是不妥当的。”隋文帝不以为然，反而给裴蕴又升了一级。高颎再次进谏，隋文帝又给裴蕴加官。高颎见状不敢再说了，照这个势头，再进谏几次，裴蕴恐怕要和自己平起平坐了。
杨广登基后，裴蕴获任太常卿，主管礼仪文艺方面的工作。这个职位并不重要，裴蕴心有不甘。如何才能快速上位呢？唯一的途径便是讨好杨广。裴蕴知道杨广爱好声色，讲究排场，便大张旗鼓地扩充宫廷乐府，“奏括天下周、齐、梁、陈乐家子弟，皆为乐户。其六品已下，至于民庶，有善音乐及倡优百戏者，皆直太常。是后异技淫声咸萃乐府，皆置博士弟子，递相教传，增益乐人至三万余”。通过各种途径，竟然将乐府扩充到了三万人。杨广对此非常高兴，让裴蕴出任民政侍郎，掌管财政和户口。
裴蕴很快在新岗位上做出了新业绩。当时，户口脱漏的现象比较严重，主要是因为虚报年龄，“或年及成丁，犹诈为小，未至于老，已免租赋”，要不往小了报，或者往老说，目的是不交租赋，严重地影响了朝廷的财政收入。裴蕴上书请求强化实施“貌阅法”，这个制度在隋文帝时创建，很有成效，但后来有所弱化，因此出现了反弹。
杨广采纳裴蕴的建议，下令每个户口均由官司检阅，与本人核实，这样不但性别、年龄能够落实，人数也比较可靠。裴蕴还规定工作成效与官员业绩挂钩，失职的要受到免职或流放的处罚，这样使得各级官员不敢怠慢，同时又规定了奖励告发的办法。在这套“组合拳”的作用下，成效非常显著，“诸郡计帐，进丁二十四万三千，新附口六十四万一千五百”，全国各郡一下子多了二十四万壮丁，而且还增加了六十四万多人口。在查清楚人口真实状况的基础上，大幅增加了财政收入。
对于裴蕴的表现，杨广非常满意，对着群臣当众表扬道：“前代无好人，致此罔冒。今进民户口皆从实者，全由裴蕴一人用心。古语云，得贤而治，验之信矣。”靠着裴蕴一己之力，解决了财政问题，杨广提升裴蕴为御史大夫，负责监察司法。
司法最重要的标尺是公正，但裴蕴心中唯一的考量却是杨广的心意。如果杨广想治罪的人，无论是否有罪，裴蕴总会“曲法顺情”，将其投入牢狱。杨广要赦免的人，裴蕴会“附从轻典”，找个机会放了。如此揣摩上意，杨广当然喜欢，“因此之后大小之狱都交付给裴蕴”，此后的大小案件全权委托裴蕴处置。
有了杨广的信任，裴蕴干得更起劲了，很快又得到了一个立功的机会。当时的大笔杆子薛道衡写了一篇《高祖文皇帝颂》，对已逝的隋文帝极尽赞颂之词，但杨广却读出了不同的味道，对苏威说：“薛道衡极力赞美先朝，和《鱼藻》的用意相同。”《鱼藻》是《诗经》中的一篇，据《诗序》讲，此诗通过歌颂周武王而讥刺周幽王。不知薛道衡是否有此意，但杨广认为此文是将自己和周幽王联系在一起。生气归生气，杨广隐忍未发，安排薛道衡去做司隶大夫，想着将来找机会给他安上一个罪名，来处罚薛道衡。
薛道衡不清楚自己的处境比较危险，司隶刺史房彦谦是他的朋友，眼看薛道衡大难临头，便劝他“杜绝宾客，卑辞下气”，要他夹紧尾巴做人，薛道衡却不听。此时正赶上朝廷议定新的律令，朝臣意见不同，争执不休，搞了很长时间也没有结果。薛道衡发了一句牢骚说：“向使高颎不死，令决当久行。”要是高颎不死，新律早就制定并且颁布实行了！
高颎已经被杨广所杀，听到薛道衡竟然公开抬高高颎，这让杨广更为生气。裴蕴觉得立功的机会到了，于是上奏道：“道衡负才恃旧，有无君之心。见诏书每下，便腹非私议，推恶于国，妄造祸端。论其罪名，似如隐昧，源其情意，深为悖逆。”这正中杨广下怀，夸奖裴蕴说：“公论其逆，妙体本心。”下令将薛道衡逮捕审讯，给他安上了一个“悖逆”的罪名，最后逼其自尽。
虞世基同样最早在陈朝为官，颇有才华，“世基幼恬静，喜愠不形于色，博学有高才，兼善草隶”，有“南金之贵”之称，担任太子中舍人、尚书左丞。陈朝覆灭入隋，经历战乱，“家贫没有产业，每佣书养亲”，佣书者就是雇用写手，穷到靠上街卖字为生。杨广偶然的机会结识了虞世基，对他的才华很赏识，虞世基获任内史侍郎，负责朝廷机密工作。他的工作能力没得说，杨广口述的诏书，不仅能做到一字不差，而且会润色得非常有文采。
但是同其他几位一样，虞世基更擅长的还是逢迎拍马，一切顺着杨广的意思来，经常把坏事说成好事。或许他看透了杨广听不得谏言的本质，说多了还容易惹祸上身。史书上说：“世基知帝不可谏正，又以高颎、道衡等相继诛戮，惧祸及己，虽居近侍，唯谄取容，不敢忤意。”看到了高颎、薛道衡等人的下场，虞世基觉得明哲保身更为重要，于是经常摆出一副献媚之状，杨广果然很受用，因此颇受杨广待见。虞世基与牛弘、苏威、宇文述等六人共同参与吏部选官，时人谓之“选曹七贵”。七人中他有专断之权，“朝臣无与为比”。
虞世基原本是一个读书人，但在权力诱惑面前，完全丧失了基本的处世准则和立场，不仅自己收受贿赂，而且纵容配偶和家属为所欲为。虞世基的老婆姓孙，但不是结发妻子，而是继室，史书记载：“其继室孙氏，性骄淫，世基惑之，恣意奢靡，雕饰器服，无复素士之风。
孙复携前夫子夏侯俨入世基舍，而顽鄙无赖，为其聚敛，鬻官卖狱，贿赂公行，其门如市，金宝盈积。”什么意思呢？这位孙氏性情霸道，生活奢靡，虞世基根本管不了，任其胡作非为。发展到最后，孙氏和前夫的儿子夏侯俨打着虞世基的名义，鬻官卖狱，收取贿赂，搞得家里门庭若市，收受的金银财宝都放不下了。
裴矩当年跟随杨广南下灭陈，担任元帅府记室，在平定岭南中立了大功。裴矩回朝后，隋文帝在大殿慰劳，并对高颎、杨素道：“裴矩率三千敝卒，一直打到南康，有这样的臣子，还有什么忧虑的呢？”裴矩天生是个外交专家，曾多次随长孙晟出使突厥。杨广继位后，西域诸国纷纷前往张掖，同中原往来通商，裴矩奉命监管互市。他知道杨广有吞并西域的打算，便查访西域的风俗、山川等情况，撰写《西域图记》三篇，回朝奏明朝廷。杨广大喜，遂命裴矩经略西域。
综合来讲，“五贵”都有才干。苏威自不用说，宇文述打仗是一把好手，裴蕴善于理财，裴矩在对外关系上颇有建树，虞世基更是才华出众。但“五贵”人品都比较差劲。其中裴蕴最为奸诈，史书上说他“素怀奸险，巧于附会，作威作福，唯利是视”；宇文述更是“默默苟容，偷安高位”，既没有宰相之才，也没有气节；虞世基也好不到哪里去，“参机衡之职，预帷幄之谋，国危未尝思安，君昏不能纳谏。方更鬻官卖狱，黩货无厌”；苏威、裴矩的人品好一些，但同样是软骨头。
“五贵”只会看着杨广的脸色说话，表面上看是为了让其心情舒畅，实则却让这位帝王成了《皇帝的新装》中的那位皇帝，感觉相当良好，殊不知宫外的世界已经是另一个世界，即使到后来整个王朝危机四伏，他们没有一个人敢出来说真话，眼睁睁看着隋朝从兴盛走向衰落。
既然身边最信任的人都说形势一片大好，杨广自然不会意识到任何的危机。这位精力旺盛的帝王在完成第一次南巡后，又决定搞一次北巡，亲自去突厥的地盘上探个究竟。