第三个不幸：家庭关系复杂。玄烨的皇父顺治帝先后娶了19位后妃，其中有满洲人、蒙古人、汉人，家庭关系十分复杂。而皇祖母孝庄太皇太后为皇父先后选了5位姓博尔济吉特氏的蒙古后妃。皇父并不喜欢她们，先废掉第一位皇后(孝庄亲侄女)，又疏远第二位皇后即孝惠章皇后(孝庄亲侄孙女)，并冷落了另3位蒙古妃子。因此，祖母和父亲关系不洽，磕磕碰碰，一时失和。这些都是玄烨亲眼见到、亲耳听到、亲身感受到的。
第四个不幸：受到皇父忽视。玄烨从2岁到7岁的6年间，他的皇父顺治帝上演了与董鄂氏的爱情悲喜剧：玄烨2岁时，皇父热恋董鄂氏；3岁时，董鄂氏入宫，不久为皇贵妃；4岁时，董鄂妃生下一个儿子，就是皇四弟，被皇父视为“朕第一子”，预示这位小皇子将来是皇位继承人；5岁时，皇四弟夭折，追封为荣亲王，皇父与庶母董鄂妃悲痛欲绝，神魂颠倒；7岁时，董鄂妃病逝，皇父过度悲伤，寻死觅活，先要自杀，被祖母派人昼夜看着，后要剃发出家，不久又罹患重病。在玄烨成长的6年里，皇父根本无心、也无暇顾及他，没有给予足够的关爱与教育。
第五个不幸：出痘九死一生。玄烨两三岁时就到宫外避痘，四五岁时出天花，没有特效药，发烧，疼痛，烦躁，恐惧，全靠他自身的抵抗能力，和保姆、太监的精心照料，才九死一生，躲过一劫。幼小的年纪，面临过生死的磨难。这是一个多么可怜的童年！
第六个不幸：脸上留下麻子。玄烨两三岁时出宫避痘，虽名曰“避痘”，实际上并没有任何科学的预防措施，也没有有效的治疗措施，如果一旦得了天花，半靠自身抵抗力，半靠命运的安排。大约四五岁时，玄烨果然出了天花。这场病灾，使玄烨“脸上有天花留下的痘痕”，就是脸上留下麻子。对于一个普通人来说，脸上长麻子是一种遗憾，也是一种痛苦；对于康熙帝来说，更是一种终身的生理遗憾，也是一种终身的心灵痛苦。
第七个不幸：八岁痛失皇父。玄烨虽然被皇父冷落，但毕竟是有皇父的庇护。但他8岁(7周岁)的时候，刚够现今小学二年级的年龄，年仅24岁的皇父竟然与世长辞。父亲死了，天塌了，祖母和生母痛苦不