奴婢们身家性命的大事，在主子眼里未必有眼前的一盆花一朵珠钗要紧。云氏离了李夫人跟前，李夫人病好后自然难以想起这茬，身旁又无人提醒。到此，一桩亲事就变味难堪了。
因本朝律例：良贱不婚，杜栋虽只有云氏一房，可云氏实际上并不能算杜栋之妻，只是个妾罢了，这叫杜仲和杜云安的身份也更不好听了，杜家族里颇多微词。
这长子还好，杜家的哥儿刚生下来府里就按例给上了丁口，那和杜家先祖一样也要当家将培养的，是清白的良籍，每年都能领米粮钱供。可轮到安姐儿出生时，她父亲一病死了，她是个女娃儿又是个遗腹子，并不受府中规矩优待。当时杜家其他远亲嫌弃云氏是克夫的祸水，又觊觎杜栋留下的家产，幸好云氏性敏机变，扯着李夫人的虎皮，求了同是李家旧人的管家嬷嬷，带着一双子女躲进了李夫人在京郊宛平县的陪嫁庄子李甲庄。
深宅大院里，李夫人听闻杜栋死讯才知晓旧事，又唏嘘又可怜。只是时移势易，此时太太奴婢的身份变成了云氏最大的庇护，倘她被放出去，杜家金陵的远亲宗族立刻就能拿下她关进祠堂去，光明正大的祸她儿女吞她财产。她现在能保住儿女和家财不被抢走，完全是假托了李夫人和李家的威势。李夫人深知内情，便只命李甲庄的庄头多多照顾孤儿寡母，分了僻静房屋给她们，却不必劳役。只等日后杜仲能顶门立户，再放云氏归良。
可惜云氏孕中连遭大厄，又殚精竭虑的筹谋生路，自搬进李甲庄，身子骨便每况日下。她也硬气，硬撑了数年，直等到长子十岁上拜入京中有名的武师张老镖师门下，日后有了指望倚仗，才撒手人寰。可彼时幼女安姐儿尚不足五岁，生的粉团一般，如同菩萨座下的玉女似的，云氏生怕自己一死，兄妹俩就全无理由继续留在李甲庄了：小兄妹在外居住，长子倒还不怕，幼女却极可能被偷被拐，落得个悲惨下场。为子女计，云氏临终前只得求了那位相熟的管家，忍痛将女儿入了奴籍，暂在李甲庄上安身立命。
于是就有了这一桩后患：杜云安虽不用像其余庄户那样劳役，却勉强算的个‘家生子儿’。