曹雪芹祖上明末前居住在今辽宁铁岭西南郊腰堡大汛河村一带。在努尔哈赤的后金兵掠地时,曹雪芹的远祖曹锡远被后金的军队俘虏,给多尔衮当家奴,属正白旗包衣(“包衣”即满语“家奴”一词译音“包衣阿哈”的简称)。清朝建立以后,设立“内务府”,负责为皇帝管理财产、饮食、器用等各种生活琐事和宫廷杂物,曹家成为“内务府”的成员。曹锡远的儿子曹振彦因建立军功,官至两浙都转运盐使司盐法道。从曹振彦的儿子曹玺和曹玺的长子曹寅,曹寅的长子曹颙和侄儿曹頫,三代四人相继担任江宁织造一职。织造的职务,主要为皇帝管理制造和采办宫廷用品,但除此之外,还同时担任替皇帝搜集情报的工作,曹寅就经常向康熙密奏南方各方面的情况,包括政治、经济、文化、思想、治安、民情等等。曹家几代人担任这一职务,表明他们跟皇帝有一种特殊亲密的关系。曹玺的妻子孙氏做过康熙的保姆,,曹雪芹的祖父曹寅小时候曾做过康熙的伴读,以后又担任御前侍卫。曹寅在给康熙的奏折中自称“臣系包衣下贱”,说明曹家具有一种特殊的地位:对于皇帝来说是奴才,但对一般人来说,则是一个极为显赫的大官僚,是属于最高统治层中的成员。雍正继位后,曹家遭受冷落,曹頫时受斥责。雍正五年(1727)末、六年(1728)初,曹因织造差员勒索驿站及亏空公款等罪,被下旨抄家,曹頫被“枷号”,曹寅遗孀与小辈等家口迁回北京,靠发还的崇文门外少量房屋度日。曹家从此败落。
经历这样家族变迁的曹雪芹,因此而获得对贵族之家种种黑暗与罪恶的深切体验,这便成为他创作《红楼梦》重要的生活基础。