许夫人到底是什么原因被休弃的，犯了古代通行的“七出”中的哪一条?从“以大故所出妇许氏”的提法来看，许夫人似乎有过什么大差错，但是所谓的“大故”到底是什么呢?也许是没有生过男孩，致使海家无后。在那个时代，这可能是比较说得过去的理由。是否如此已经无从查考。不过许夫人年纪尚轻，生育问题似乎不成理由。也许是她与海瑞的母亲海太夫人之间的婆媳矛盾有关。这样的事，在古代的家庭生活中是一种比较常见的现象。何况海瑞是个著名的孝子。他永远是无条件地站在母亲这一边的，这就决定了海家的媳妇在家庭生活永远处于下风的位置。
海瑞和许夫人离异之后，又娶了潘氏夫人。但是，潘夫人到海家之后不到一个月又被休弃，休弃的理由不得而知。紧接着海瑞又娶了王氏夫人。王夫人比较争气，在海瑞到达淳安之前两年就为海瑞生了个儿子，取名中砥。海瑞到淳安任上之后的当年，王夫人又为海瑞生了个儿子，取名中亮。王夫人还生了个女儿。海家从此有了香火，王夫人虽然不会在遭到休弃的命运，但是，她的莫名其妙的突然死亡却为自己的海家媳妇生活蒙上了一层神秘的阴影。
嘉靖四十三年，即公元1564年10月，海瑞奉调北京户部工作，这一年海瑞五十二岁。第二年十月，进京上任仅近一年的海瑞，便写下了震惊朝野的尖锐批评嘉靖的“直言天下第一事疏”，即《治安疏》，并上奏朝廷。嘉靖皇帝勃然大怒，在翌年二月将海瑞下狱。然而，就在这一年，他的两个儿子竟然相继身亡，一个十一岁岁，一个才九岁，而此时海瑞已经五十四岁了。可以想见，这个打击不论对海瑞来说，还是对于海家来说，会是怎样的严重致命的打击。
两年后，也就是隆庆二年，即公元1568年7月24日晚上，王夫人突然去世。据海瑞说是生病死的，但也有人说是自杀的。《万历十五年》说王夫人“在极为可疑的情况下死去。”而在王夫人去世前十一天，海瑞的小妾韩氏便上吊自杀了。十一天之内，海家突然死了一妻一妾，这使海瑞的家庭生活变得扑朔迷离。夫