康熙六次南巡，四次住在曹家。曹寅家族共有四人。担任过江宁织造一职，其实就是为宫廷供应。丝织品并采办各种。御用物品的皇商，曹寅还以包衣家臣的身份，领取内务府帑银行商。
在康熙年间，曹家实际上康熙在江南的眼线。由于曹寅的日用排场，应酬送礼，特别是康熙四次南巡的接驾等等，在经济上给曹寅造成了巨额的亏空，甚至可以说，曹寅时代已经给曹家种下了衰败的祸根。
康熙四十八年十二月初六，两江总督噶礼参奏曹寅，密报康熙说，曹寅和他的大舅子，苏州织造李煦，亏欠公银三百万两，请求公开弹劾他。康熙把曹寅看成是“家人”，噶礼要求公开弹劾曹寅，康熙没有批准。但事关重大，康熙不得不私下谆谆告诫，曹寅和李煦，必须设法补上亏空。但曹寅面对茫茫债海，已经无法弥补，也没有能力挽回局面。
康熙五十四年，又查出曹寅生前亏空织造库银，三十七万三千两。康熙只好再次做安排。让李煦代为补还。到了康熙五十六年，才总算把这笔账补上。
康熙照顾曹家，是看在曹玺和曹寅的情分，到了曹雪芹父亲曹頫这一辈，就疏远、淡漠了许多。康熙曾经明确对曹頫说
康熙说：" 念尔父出力年久，故特恩至此。"
康熙六十一年，因李煦、曹頫拖欠卖人参的银两，内务府奏请康熙，严令李煦、曹頫将拖欠的银两，必须在年底之前交清，否则就严加惩处，康熙当即就批准了。显然，这与康熙以前对曹寅的态度，已是决然不同了。
雍正上台以后，接连颁布谕旨，开始在全国上下，大张旗鼓地清查钱粮，追补亏空。他一再表示
胤禛（雍正帝）说：" 朕不能再像父皇那样宽容了，凡亏空钱粮官员一经揭发，立刻革职抄家！"
仅雍正元年，被革职抄家的各级官吏就达数十人，与曹家既是亲戚，又患难与共的苏州织造李煦，也因亏空获罪，被革职抄家。
但一开始，胤禛并没有像处置李煦那样处置曹家，毕竟曹寅之所以，会欠下那么大的亏空，很大一部分原因，是康熙几次南巡，在曹家居住期间所花费的。正所谓“不过是拿着皇帝家的银子往皇帝身上使罢了！谁家有那些钱买这个虚热闹去？”
康熙生前也曾家许诺曹家
康熙说：" “只要我大清不灭，保尔曹家百世尊荣。"
出于这些原因，再加上允祥求情，胤禛一开始并没有打算，对曹家下重手。而是允许曹頫将亏空分三年还完。曹頫自身的亏空尚未补完，又增加了曹寅遗留的亏空，只好多方求人托人。
可惜曹頫拖欠公款，已经让雍正十分不满，并交由怡亲王允祥督查，但是他四处托情跑门路，以求减轻罪责的做法，更加深了雍正的猜疑和憎恶。
雍正为防止有人吓唬敲诈曹頫，特地向曹頫下达指示
胤禛（雍正帝）说：" 乱跑门路，交结他人，只能拖累自己，瞎费心思力气买祸受；主意要拿定，安分守己，不要乱来，否则坏朕名声，就要重重处分，怡亲王也救不了你！"
这个朱批特谕，说明他对曹頫还是出于好意的。
雍正四年三月初十日，内务府总管允禄等，奏孙文成、曹頫等织造绸缎轻薄议处，曹頫被罚俸一年。
六月二十四日，内务府奏御用褂面落色请将曹頫等罚俸一年摺，曹頫与内务府司库各被罚俸一年。
曹頫才华有限，曹頫不胜江宁织造之任，任期内贡献甚少，且亏空有增无减。雍正从织造经营的角度考虑，逐渐对曹頫的业务水平失去信心。
三处织造纺缎均出现质量问题，为此除苏州新任织造胡凤翚因另案革职外，江宁织造曹頫、杭州织造孙文成俱罚俸两年，并照数赔补。大约因为当时危机加重，曹頫乱了阵脚，许多事务照料不到，以至本职工作都出现疏漏。
巨额亏空、工作失误不断、为脱罪结交官员，议罪期间，秘密转移财产，种种不法行为，终于让雍正对曹家忍无可忍。