据考证，曹雪芹的始祖是东北铁岭一带的汉人，后来被入侵的满族人俘虏，因此成为贵族的家奴。用满族人话说叫包衣旗人，意思是家下人，就是家奴。后来，这些人跟随了多尔衮，多尔衮可是个很有头脸的人，因此曹家人一下改换了门庭，成为大清国的从龙旧臣，也成为了上三旗的人。到了康熙年间，曹雪芹的曾祖母孙氏层做过康熙皇帝的奶妈，皇帝是吃过她的奶水长大的，因此对她家格外看重，为了报答孙氏的养育之恩，特委派孙氏的丈夫曹玺做江宁织造监督一职，地位略低于两江总督。
