言灵自知不是军事方面战略战术上的人才，所以在韩信张良萧何人这些大将之才还活着的时候决定继续韬光养晦安心发展，在汉朝建立之后，也即是建校第七年，言灵就不再招外面的孤儿了，这是为了防止被发现。同时学校也迁往深山老林之中人迹罕至之处。
公元前196年，也即是建校十三年，兵仙韩信被吕雉召进宫中杀害，这对言灵而言却是最好的消息。
公元前195年，也即是建校十四年，刘邦去世。
公元前193年，也即是建校十六年，萧何去世，又是一个意料之中的喜事。
公元前186年，也即是建校二十三年，张良去逝，一代大贤不再能辅助汉朝。
汉惠帝七年即是公元前188年，也即是建校二十一年，八月戊寅，刘盈忧郁病逝，发丧期间，只见吕雉干哭，不见落泪。张良之子张辟强担任侍中，年仅十五岁，对丞相陈平说：“太后只有孝惠帝一个儿子，如今死了，却只见她干哭而不悲伤，你知道是什么原因？”陈平反问：“是什么原因？”张辟强说：“皇帝没有年纪较大的儿子，太后害怕你们这班老臣。您现在应请求拜吕台、吕产、吕禄为将军，统领南北二军，并且让吕家的人都入宫，在朝廷执掌大权，这样吕后才会心安，你们才能有幸免于祸患。”陈平就按照张辟强的计策去做，吕雉果然高兴，哭起来也显得哀痛。吕氏的权势便从此开始。吕雉立太子刘恭为帝，自己临朝称制，行使皇帝职权，朝廷号令一概出自太后，为中国太后专政的第一人。
吕雉为了强化自己的统治，在采取“无为而治”，巩固西汉政权的同时，首先打击诸侯王和政治上的反对派，重用其宠臣审食其及宦官张卿，然后布置党羽，大封诸吕及所爱后宫美人之子为王侯。随后杀掉赵王刘友，梁王刘恢亦自杀。右丞相王陵坚决反对封诸吕为王的政策，坚持刘邦与大臣的盟约，“非刘氏而王，天下共击之”，吕雉不高兴，就让他担任皇帝的太傅，夺了他的丞相职权。王陵只得告病回家。然后又让审食其为左丞相，居中用事。陈平、周勃虽然不服，也只好顺从。审食其不处理左丞相职权范围内的事情，专门监督管理宫中的事务，像个郎中令，吕雉常与他决断大事，公卿大臣处理事务都要通过审食其才能决定。吕后这些做法遭到刘氏宗室和大臣的激烈反对。
吕雉追封他已故的两个哥哥，大哥吕泽为悼武王，吕释之为赵昭王，以此作封立诸吕为王的开端。高后元年（前187年），封侄吕台为吕王，吕产为梁王，吕禄为赵王，侄孙吕通为燕王，追尊父亲吕公为吕宣王，封女儿鲁元公主的儿子张偃为鲁王，将吕禄的女儿嫁给刘章，封刘章为朱虚侯，封吕释之的儿子吕种为沛侯，封外甥吕平扶柳侯。高后二年（前186年），吕台去世，谥号肃王，封其子吕嘉代吕台为吕王。高后四年（前184年），又封其妹吕媭为临光侯，侄子吕他为俞侯，吕更始为赘其侯，吕忿为吕城侯。吕后先后分封吕氏家族十几人为王为侯。
在公元前184年，也即是建校二十五年，高后专政已久，打压能臣，重任亲族，此刻正是汉室衰微之时，也是言灵起兵之时。