嘉靖四十三年十月，海瑞被调到京城户部任职，海太夫人不喜欢到寒冷的北方去生活，海瑞没有办法，只好让王夫人携二男三女服侍海太夫人从海瑞在江西兴国县令的任上南归，而海瑞则带了两个仆人北上任职，这一年海瑞50岁了。
嘉靖四十四年十月，海瑞上了震惊朝野的尖锐批评嘉靖的“直言天下第一事疏”，即《治安疏》。因此，他在次年二月下狱，两个儿子就在这一年相继死去，一个11岁，一个9岁，而海瑞此时已经52岁了。
三年之后，也就是隆庆二年(1568年)七月二十四日晚上，王夫人突然病逝，但也有人说是自杀身亡的。《万历十五年》中说王夫人“在极为可疑的情况下死去”。在王夫人去世前11天，海瑞的小妾韩氏上吊自杀。这两件事联系起来，使海瑞的家庭生活变得十分扑朔迷离。
韩氏为何自杀?
王夫人到底因何而死?
这些事虽然已经成了历史之谜，但是，这使海瑞在官场上有了非常不好的名声。这时候的海瑞在南京任正四品的通政司右通政之职，他是半年多前才到南京来的。
可以想见，这一连串的打击对于海瑞和他的家庭来说，会是怎样的残酷和无情。妻死妾亡，海瑞的心态如何呢?据他写给朋友的一封信件透露，海瑞说自己“每一思及，百念灰矣”，可见他未必是人们想象的那种无情之人，对妻妾也不是没有感情。而酿成这样的家庭悲剧，症结可能还是出在已近80岁高龄的海太夫人身上。
海瑞还有一妾邱氏，史料中只说她为晚年的海瑞生了一个儿子，但孩子长到三岁就夭折了。海瑞于隆庆四年申请退休，获准后离开南京回家乡琼山闲居，从此离开官场15年，直到万历十三年(1585年)，已经71岁的他又重新回到官场，到南京任都察院右都御史及吏部右侍郎之职。邱氏可能就是海瑞在家乡闲居时所纳的小妾。
万历十五年十月十四日，海瑞病逝，他死的时候有“二媵四仆”。“媵”即侧室，也就是小妾。这二妾中有一个是邱氏，另一个则是有人所说的“瑞已耄，而妻方艾”的那个“方艾”的女孩子。如果这样说，海瑞就应该有过三个小妾了