隋文帝登基的当天，长安城出现了百年难见的天象——五色云，仿佛上天派使者赶来祝贺。地方上出现了一系列令人眼花缭乱的祥瑞，预示这个新的王朝会有一个光明的前途，当然其中大部分是人为制造的，但也说明普天之下的百姓对这个王朝充满着期待。
隋文帝憋着劲想干出一些大事，好证明自己上台的正确性。但如果想成事，光靠他一人肯定不行，首要的是组建好的领导团队。登基之初，隋文帝看重的有三人，分别是高颎、李德林和虞庆则。不难看出，这三位都是汉人，对先前北周的用人策略做了重大调整。北周毕竟是鲜卑人建立的政权，关键岗位大多不用汉人。不过，隋文帝决心改变这样的局面，在登基以前便开始着手恢复汉人和汉文化在国家中的主体地位。
早在大象二年(580年)十二月，他以小皇帝宇文阐的名义发布了一道诏令：“诸改姓者，宜悉复旧。”过去被赐胡姓的汉人，都恢复了汉姓，由此，他也由普六茹坚又变成了杨坚。这样做有很深的用意，虽然北周是由鲜卑人统治，但汉人在人口中占据绝大多数，汉文化也更为先进，国家要想治理好，能够有长足的进步和发展，唯有此路，别无他途。隋文帝由此确立了“易周氏官仪，依汉、魏之旧”的国策，致力于恢复南北朝以前的汉族的制度文化，以求重新获得正统地位，构建以汉族为中心的强大帝国。
这样的做法无疑是正确的，很快，一个非常重要的汉人来到隋文帝身边，他名字叫作苏威。此人的父亲是大名鼎鼎的苏绰，苏绰深得宇文泰的信任，被任命为大行台左丞，宇文泰对苏绰言听计从，推出了“六条诏令”，即“先治心”“敦教化”“尽地利”“擢贤良”“恤狱诉”“均赋役”，使得西魏的面貌焕然一新，在与东魏的对峙中逐渐取得了压倒性的优势。
苏绰积劳成疾，在四十九岁时就去世了，宇文泰对此非常悲痛，“哀动左右”，亲自在灵车后以酒浇地，痛哭道：“苏尚书平生行事，他的妻子、孩子、兄弟所有不知道的，我都知道。正准备共同平定天下，不幸竟舍我而去，有什么办法？”
父亲苏绰死时，苏威才五岁，但却很早熟，“哀毁有若成人”，说他和成年人一样，悲伤之余还能做足礼数。苏威长大后，一表人才，权臣宇文护很欣赏他，想把自己的女儿嫁给他。对于其他人而言，这是求之不得的大喜事，因为宇文护一手遮天，权势无人能及，如果成为这位权臣的乘龙快婿，前途不可限量。但苏威看得很长远，月满则亏，觉得宇文护长不了，但又无法直接拒绝这门亲事。于是，新婚以后带着新娘子躲到山寺里隐居读书，正因为如此，宇文护倒台后，苏威虽然是他的女婿，但因他界限划得很清楚，也没有得到任何好处，因此没有被株连。
此后，苏威依然谨小慎微，明哲保身，北周武帝宇文邕、宣帝宇文赟都曾想封他为官，但都被他以身体有病无法履职而拒绝。杨坚担任丞相后，高颎推荐了苏威，杨坚将此人引入相府内室，深入交流后发现苏威确实非同常人，“与语大悦”，想着重用苏威。
但没想到，苏威又跑了，这次没有逃到山寺，而是跑回了老家，原因是他听说杨坚想要篡位，不愿意在中间掺和。高颎建议派人将他追回，杨坚没有同意，说：“他既然不想参与我的大事，姑且让他去吧。”杨坚知道苏威胆小怕事、注重名节，他只是不愿参与禅代之事，并没有跑去告密。而且苏威确实才干出众，等事成之后，可以给他提供用武之地。
杨坚登上帝位后，第一时间拜苏威为太常卿、太子太保，还追赠他的父亲苏绰为邳国公，食邑三千户，让苏威承袭。不久，又晋升苏威为纳言、吏部尚书。苏威上表辞谢，隋文帝下诏说：“船大要多载物，正因为你有多种才能，才委以重任，就不要推辞了。”
其实，苏威只是客套一下，他内心里非常渴望建功立业，当初因为时局不稳，站错队容易卷入灾祸，所以才跑回老家。如今隋文帝已经牢牢控制了局势，而且他与这位新皇帝接触后，发现隋文帝志向远大，发挥自己才干的舞台已经搭好，如今可以上台尽情起舞了。
新王朝新气象，组织好人马，隋文帝开始了大刀阔斧的改革。首先改的是官制，当年宇文泰按照《周礼》制定六官制度，分别是天官(大冢宰)、地官(大司徒)、春官(大宗伯)、夏官(大司马)、秋官(大司寇)、冬官(大司空)，六官分别掌管各类行政事务，由大冢宰统领，这套官制由西魏沿用到北周。
宇文泰担任位高权重的大冢宰，当初他设定了这套官制，就是为了将权力牢牢地掌控在自己手里。如今天下归于隋文帝，他当然不愿意再有权臣来挑战自己的位置，更何况这套官制起源于西周时的制度，距今已有一千多年的历史，早已过时，甚至显得不伦不类。
隋文帝即位之初就下诏废除了这套官制，命苏威等人综合汉魏以来历朝的官制，制定了新的制度。这套新的制度是在朝廷中设置尚书、门下、内史、秘书、内侍五省，御史、都水二台，太常等十一寺，左右卫等十二府。看上去比较复杂，其实真正的权力核心在尚书、门下、内史三省，其他两省中内侍省是宫廷的宦官机构，全部由宦官担任，管理宫里事务。秘书省掌管国家经籍图书和天文历法，没有什么实际权力。
尚书省置尚书令一人，但由于权力太大，容易对皇权形成威胁，所以长期处于空缺状态。为此设立副长官左右仆射各一人，作为尚书省的实际负责人，古代以左为尊，故左仆射又在右仆射之上，尚书省统领吏、度支、礼、兵、都官、工六曹。后来六曹改为六部，唐朝时度支改为户部，都官改为刑部，六部各设尚书一人，是本部门的负责人。门下省置纳言二人，内史省置内史令二人，三省长官共同参决军国大事，他们就是俗称的“宰相”，具有划时代意义的三省六部制从此得以确立。
三省六部制作为一套组织严密的中央官制，从隋朝确立后，为唐朝继承和完善，并为后世确立了中央政治体制的基本框架，一直延续到清朝，虽然后来朱元璋废除了宰相制，但其所建立的内阁制度依旧没有摆脱这个框架。这套制度具有如此旺盛的生命力，是因为有三个特点：一是分工明确。内史省负责起草诏命，门下省负责审核诏令，而尚书省负责执行，职责明确，互不扯皮，提高了办事效率。二是相互牵制。内史省颁布皇帝的诏令和政令，如果门下省发现不符合皇帝的意思或不可执行，可以行使驳回权，最大限度避免了决策失误。尚书省只负责执行，这样严格的设置使三省之间能够相互监督。三是分散相权。在隋朝之前，宰相的权力很大，可以说是“一人之下，万人之上”，容易出现宰相专权的现象，三省将原来宰相的权力一分为三，极大削弱了相权对皇权的威胁，防止了个人专权的现象发生。
隋文帝理顺中央官制后，接着改革地方管理制度。当时最突出的问题是地方行政区域划分太多，“百室之邑，便立州名；三户之民，空张郡目。”“地无百里，数县并置；或户不满千，二郡分领”。隋朝初建时，平均一个州才管两个半郡。一个郡管两个多一点县，造成的后果是“民少官多，十羊九牧”，为什么会这样呢？因为北周、北齐分裂对峙时，为了笼络人才，便以官职为诱惑，没有那么多职位，只好增加州、郡数量，为的就是多安排人，北周后来虽然吞并了北齐，但建庙容易拆庙难，这个问题一直没有解决。
开皇三年(583年)十一月，河南道行台、兵部尚书杨尚希上奏建议改革地方制度，“存要去闲，并小为大，国家则不亏粟帛，选举则易得贤才”，隋文帝深以为然，但问题在于如何区分“要”与“闲”，又如何“并小为大”。杨尚希虽然没有提出具体建议，但促使隋文帝下决心改革地方行政制度。尽管他知道这项改革非常艰难，因为要动不少人的“蛋糕”，特别是一些地方豪强势力的“蛋糕”。但再难也要改，因为弊端太多，不仅影响行政效率，而且也增加了百姓负担。更重要的是，这样的体制下，地方政权容易被豪强实力所把控，因此必须要加以整治，达到消除内部隐患、促进统一的目的。
开皇三年(583年)，隋文帝下诏“罢天下诸郡”，就是说废除郡级机构。这个力度相当之大，意味着延续几百年的州、郡、县三级制变成了州、县两级制，全国撤销了五百零八个郡。同时裁并州县，将一些面积小、人口少的州县并到大的州县中，地方官吏编制大为减少，由于“吃皇粮”的人少了，百姓的负担大幅减轻。
更为重要的是，隋文帝推出了一个非常重要的配套举措，便是各级地方官吏，统一由尚书省吏部负责选任，所谓“大小之官，悉由吏部”，这个改革力度一点不亚于撤郡和裁并州县。
过去中央朝廷只负责任命州刺史、郡太守、县令等地方主官，其他官吏都是由这些主官自己征辟，这样一来很容易让世家大族把持地方权力。这项改革举措的出台，使得地方官员的任命权完全被中央控制，九品以上的地方官一律由中央任免，并且每年由吏部考核优劣，作为去留晋级的依据。地方官吏由此不再从属于州官，而是直接效忠中央。后来又规定，“刺史、县令，三年一迁，佐官四年一迁”，州县的主官每三年一换，佐官每四年一换，而且不能连任，这样一来，将地方政权牢牢置于中央朝廷的控制之下，消除了地方割据分裂的隐患。
改革中央和地方官制，是隋文帝“内政”建设上做的第一件大事，第二件大事是修订律例，改革司法制度。北周时期的法律既混乱又残酷，“用法深重、诛杀无度”，搞得人人自危，众叛亲离。隋文帝未登基以前，就意识到这个问题。早在担任南兖州总管时，他就对心腹说：“人主之所为也，感天地，动鬼神，而《象经》多纠法，将何以致治？”这里的“人主”说的是宇文邕，《象经》是宇文邕颁布实施的《刑书要制》，隋文帝的意思是宇文邕英明神武，做了许多感天动地的事情，但他所推行的《刑书要制》非常严苛，这又如何能让天下太平呢？在隋文帝看来，国家和社会治理必须要依靠法制，只有良法才能善治。
正因为有这样的认识，隋文帝创建隋朝后，立即着手建立崭新的国家制度和法律，让整个王朝在正确的轨道上有序运行。他下诏令高颎、郑译、杨素、裴政等人组成专门班子，负责修订刑律，裴政为具体负责人。《隋书·裴政传》记载∶“(裴)政采魏、晋刑典，下至齐、梁，沿革轻重，取其折衷。同撰著者十有余人，凡疑滞不通，皆取决于政。”新的律法被称为《开皇律》。
《开皇律》当年就编撰完成，在汲取先朝立法经验的基础上，有了非常大的进步。杨坚下诏在全国颁行，不过，在如此短时间内就编制完成一部庞大的律法，纰漏之处在所难免。虽然废除了车裂、枭首等残酷的死刑，但依旧保留了不少前代苛刻的规定，所以新律实行不久，就出现了不少问题。
开皇三年(583年)，隋文帝批阅刑部的奏报，看到断狱数目在数万件之上，这一数字深深震撼了他。隋文帝认为“律尚严密，故人多陷罪”，罪犯太多不是因为犯罪增多所致，而是由于前代的苛刻律法尚未完全除尽所致，而新律又过于严密，让人不经意间就会触碰刑律。于是又下令苏威、牛弘修改新律，并明确了修订原则，即“权衡轻重，务求平允，废除酷刑，疏而不失”。
修订后的《开皇律》拥有较高的立法成就，对后世产生了深远的影响。主要的优点在于：一是简明。北周律法原本有罪名一千八百多条，非常繁杂，百姓根本搞不清楚，经常无意间就触犯了刑罚。新律一下子将罪名减少到五百余条，删去死罪八十一条，流罪一百五十四条，徒、杖罪一千余条，共计删除了三分之二的条文。
二是轻刑。废除了宫刑、鞭刑等酷刑。对流刑的距离、徒刑的年限等都做了减轻的规定，其中流刑自一千里至两千里分为三等，每五百里为一等。有期徒刑一年至三年分为五等，每等以半年为差。杖刑自六十下到一百下，笞刑自十下到五十下，每十下为一等。刑罚确实减轻不少，是一种历史的进步。
三是完备。首次确定了轻重有序、规范完备的封建五刑体系，刑名分为五种，即死、流、徒、杖、笞。共计死刑、流刑、徒刑、身体刑四大类，封建五刑制自此确立直至明清。
出于维护皇权的需要，好不容易从北周夺来的皇位，隋文帝不想再让别人惦记着。《开皇律》还创设了“十恶”制度，“十恶”脱胎于《北齐律》的重罪十条，包括谋反、谋大逆、谋叛、恶逆、不道、大不敬、不孝、不睦、不义、内乱十种最严重的犯罪行为，其中谋反、谋大逆、谋叛、大不敬、不义是危害国家和皇帝的行为，其他是违反封建礼教和家族伦理的行为，对于前者处罚很重，“唯大逆谋反叛者父子兄弟皆斩”。“十恶”是罪大恶极的行为，即使皇帝大赦天下时也绝不赦免，因此也称为“十恶不赦”，一个新的成语就此诞生了。
此外，《开皇律》为了维护上层贵族利益，给予官僚贵族相当的法律特权，也就是所谓议亲、议故、议贤、议能、议功、议贵、议勤和议宾的“八议”规定，对于贵族官僚必须按这样的特别审判程序认定，并依法减免处罚。据《隋书·刑法》记载∶“其在八议之科及官品第七以上犯罪，皆例减一等。其品第九以上犯者，听赎……贵砺带之书，不当徒罚，广轩冕之荫，旁及诸亲。”这表明对于有身份的贵族和受教育的士人，其法律适用不同于一般庶民。
《开皇律》的颁行是隋朝建立后刑法的一次大改革，隋文帝想借助这部律法治理好天下。只是令他没想到的是这部律法具有相当大的影响力，被历代王朝所承袭，唐、宋、明、清四个朝代的律法，都是在此基础上进行修订，没有突破整个法律框架，一直到清末制定《大清新刑律》时才予以废止，存续了一千三百年之久。《开皇律》能取得这样的成就，很重要的是它在制定过程中充分汲取了前朝历代的经验教训，换句话说，它不是凭空产生的，而是集大成者。
《开皇律》的影响不仅限于后世，还影响到了周边国家。日本、朝鲜等看到有如此完备的法律体系，采取“拿来主义”，派遣人员前来学习，稍作修改后抄了过去，变成自己国家的律法，于是整个东亚逐渐形成了以《开皇律》的律法精神和原则为主体的东方法律体系。
拿破仑曾经说：“我的光荣不是打过四千次胜仗，因为滑铁卢一败便可使这一切完全被人忘记，但不会被忘记的，而且永垂不朽的是我的《民法典》。”从这个意义上说，隋文帝完全可以因这部《开皇律》而感到骄傲。
隋文帝做的第三件大事是营建新都。北周的都城是长安，地处渭水南岸的龙首原上。自西汉时形成，已经八百多年。但在隋文帝看来，这座古都已经无法适应这个新的王朝，主要有几个原因。一是破败不堪。这座都城年头太长了，“此城从汉，凋残日久，屡为战场，旧经丧乱”，导致宫宇朽蠹，宫室形制狭小，已经无法沿用。二是格局不规整。长安城不是用一张蓝图所建，而是八百年来自然发展起来的，因此显得比较杂乱，特别是皇宫在城市的西南角，完全不符合面南朝北的要求，无法体现出皇权的威严，而且还存在宫城、官署和居民区混杂的现象。三是排水不畅。污水聚而不泄，臭气烘烘，使得生活用水遭受污染，成为咸卤，“水皆咸卤，不甚宜人”，导致饮水困难。四是易遭水患。长安在渭河南岸，而渭河的流向在南北朝至隋初逐渐向南偏移，如果遇到连日大雨，河水暴涨，都城随时有被淹没的危险。
这些都是长安城作为古都本身存在的问题。除此之外，隋文帝心中还有一个心结，那便是前赵、前秦、后秦、西魏等短命王朝都定都于此，有一种不祥之兆。隋文帝还表示“宫内多妖异”，意为长安城里经常闹鬼，或许是因为在这座都城里，他对宇文家族大开杀戒，害怕这些冤魂来报复自己，这个阴影一直缠绕在隋文帝心头，与其天天提心吊胆，不如建设一个新都。
早有人看出了隋文帝的心思，先是太史上奏认为应当迁都，接着苏威也提出应另造新都。但迁都毕竟是大事，隋文帝颇为踌躇，没有明确态度。大臣庾季才上表说：“我仰观天象，俯案博览群书，深知一定要迁都，西汉兴筑长安城池，已八百年，水质变苦，难以饮用，希望陛下上应天意，下顺民心，早日拟定迁都计划。”隋文帝对此表示：“是何神也！”这也太神奇了，刚刚有这样的打算，上天也赶来说这件事。
不过，提出建议的高颎、苏威、庾季才虽然是朝中重臣，但都属于新贵，资历比较浅，迁都这种大事，还是需要有德高望重的老臣出来说话。很快李穆上书请求营造新都。李穆是北周的元老重臣，在尉迟迥叛乱时站到隋文帝一边，起了关键作用。隋朝建立后，李穆被封为太师，全家都受到恩典，他的子孙，即使尚在襁褓中的，都被拜为仪同，家中做官的子弟有一百多人，“穆之贵盛，当时无比”，贵盛之状无人可比。
李穆上奏中说：“(长安)自汉以来，为丧乱之地，爰从近代，累叶所都。未尝谋龟问筮，瞻星定鼎，何以副圣主之规，表大隋之德？”这样一个残破的都城，怎么能表现出大隋的气度？这话说到了隋文帝的心坎里，他大喜过望道：“天道聪明，已有征应，太师民望，复抗此请，则可矣。”天道圣明，已有祥瑞，太师是民众愿望所归，他提出这一请求，应该是可行的。
于是，营造新都的事就这样决定了。决心难下，具体实施更不容易，面临着三大问题，在哪里建？由谁来建？建成什么样？
先说第一个问题，旧都所在的龙首原北部不够开阔，难以在原址上扩建，必须另寻新址。隋文帝看好龙首原的南部，这里地势开阔，远离渭河，可以避免水患，同时还可以从南山引水，是一个理想的地址。
至于第二个问题，对于以识人用人见长的隋文帝来讲，并不算难事。他选择的人选是宇文恺。宇文恺出身显赫，父亲宇文贵是西魏十二大将军之一，大哥宇文善是北周的上柱国，二哥宇文忻是当世名将，率部征讨过北齐、突厥、尉迟迥等，立下了赫赫战功。但他与父兄不同，他不喜欢打打杀杀，反而非常喜欢读书，“恺独好学，博览书记，解属文，多伎艺”，而且在建筑和工程管理方面表现出超人一等的才能，北周时被任命为匠师中大夫，“掌城郭、宫室之制及诸器物度量”。
隋文帝禅代称帝后，为了巩固自己的统治地位，大肆诛杀北周宗室宇文氏，以清除北周残余势力。由于宇文恺家族与北周宗室有别，二哥宇文忻又拥戴隋文帝有功，加上他本人的才华深得隋文帝的赏识，因而没有受到牵连。
开皇二年(582年)六月十八日，隋文帝下诏营建新都，高颎为大监，宇文恺为别监。高颎只是挂名，新都的设计以及施工都是由宇文恺来负责。
宇文恺不负众望，仅仅用了九个月的时间，一座崭新的都城就宣告落成了，建设速度令人叹为观止，显示出宇文恺出众的工程管理能力，不仅用时短，质量也非常高。
概括而言，这座新都城有以下几个特点：一是规模宏大。整个城市由外郭城、宫城和皇城三部分组成，东西宽九千多米，南北长八千多米，城周长三十五点五公里，总面积八十四平方公里，是汉长安城的二点四倍，明清时期北京城的一点四倍。如果放眼世界，规模比阿拉伯帝国首都巴格达、东罗马帝国首都拜占庭还大许多，根本不是一个数量级的，堪称当时世界第一大城市。
二是布局严整。新都均衡对称，形成方正格局，宫城、皇城、民居三部分界线分明，以对准宫城、皇城及外郭城正南门的朱雀大街为中轴线。在外城郭范围内，以二十五条纵横交错的大街将全城划分为一百零九坊，其中朱雀大街西边有五十五坊，东边由于城东南角被曲江池占去了一块地，所以少了一坊，共五十四坊。在朱雀大街的东西两侧，还各用两坊地修筑了东市和西市。坊的四面有围墙，通过固定的坊门出入，坊门有卫兵守卫，晚间会实行宵禁。商业活动被限制于东、西两市内进行。
三是皇权至上。宇文恺将皇城、宫城放到北边高坡上，控制城市的制高点，体现了皇权的至高无上。宫城在全城的最北面，象征着北极星。皇城的百官衙署在宫城的南边，象征着围绕北极星的太微垣。外城郭从三面拱卫着宫城和皇城，象征着群星，意味着天下的百姓以皇帝为中心，围绕在皇帝和朝廷周围，不仅体现了皇帝据北而立的传统，同时增加了君权神授的色彩。为了充分保障宫城的安全，把皇宫北面都划成了禁苑，闲人不得入内，并驻扎军队，对于宫城安全提供了可靠保障。
四是贯通水系。宇文恺在城中设计开挖了永安渠、清明渠、龙首渠等几条水渠，流经外城郭、皇城、宫城和禁苑，还将曲江池加以巧妙利用。曲江池本来是一处天然湖泊，宇文恺进行疏凿整治，使其占去整个城内地势最高的东南的一坊地，调剂城内供水的同时，还辟为风景区，在这里修建了离宫别馆，供帝王权贵们游赏。隋文帝忌讳曲江的“曲”字，根据曲江池中多芙蓉而改名芙蓉池，同时将曲江的园林馆舍命名为芙蓉园。
隋文帝对这座新都城非常满意，取名为大兴城，因为他在北周刚踏上仕途时，就被封为大兴郡公，与此同时，把宫城命名为大兴宫，宫城正殿名为大兴殿，而大兴殿的正门为大兴门。在隋文帝看来，这个名字寓意很好，能带来好运和祥和，他自己准备大干一场，使得整个王朝走上“大兴”之路。