诗文会友，书画自娱，蹭蹬科场而又特立独行。一转眼，39岁那年，一无所有的徐渭第二次做了入赘女婿。这一次是入赘王家。但这个王家女人和潘氏根本没法比，是个十足的悍妇。徐渭对这个女人的评价只有两个字—“劣甚”。日子根本没法过。几个月后，双方协议离婚。当鬼才遇上悍妇,后果自然不堪设想,幸好抽身早,没什么大损失,这对于鬼才徐渭来说算不得什么。他继续怀着出世之心，四处奔波。
两年后的杀妻事件才是一次严峻的考验。
金子的光芒终究不能被掩盖，赏识徐渭的人来了。嘉靖三十七年(1558年)冬，浙闽总督胡宗宪钦慕徐渭的才识，经过多次相邀，终于将徐渭招入幕府，充当幕僚。书生拜大将，自古有之。文人总幻想着上阵杀敌，建立不世功勋。即使孱弱的李贺也想弄个百夫长当当，面白而胖的徐渭自然不厌言兵。不久，他便随总督府移驻宁波、杭州、严州(又称睦州，是今杭州属地)、崇安等地，协助胡宗宪平倭。
鬼才徐渭长于作战计谋，又善写诗文颂词。胡宗宪对他优容有加，不仅赠银让他购得房产，而且还帮他续弦，娶上漂亮的女子张氏为继室。
不可否认，男人都想让自己的老婆“靓”一点，即便是鬼才也不能免俗。对自己的娇妻，徐渭总是放心不下，几次三番不顾军务繁忙“开小差”回家看望娇妻，简直恨不得把张氏拴在裤腰带上。
孰知好事不长久，祸事找上门。胡宗宪在政敌的构陷下，入狱而死。徐渭闻讯，惧怕自己曾为胡宗宪代笔歌颂严嵩而忧心忡忡，以致精神失常，反复九次自杀未遂。他的自杀手法也值得一提。用利斧击破头颅，“血流被面，头骨皆折，揉之有声”，又曾“以利锥锥入两耳，深入寸许，竟不得死”。真是奇人一个。
嘉靖四十五年，他在一次狂病发作中产生幻觉，以为继妻张氏与人通奸，竟将张氏杀死。遂锒铛入狱，服刑七年。
红颜是祸水，但人人惦念红颜。徐渭的心理相信大家都能够理解，人总是那样矛盾，文人更是出奇地敏感。一失足成千古恨，徐渭对此也十分后悔。
对因杀妻而被捕入狱的徐渭，朝廷医官裁定他是“狂”，朋友也全力周旋，告诫徐渭承认自己病变发狂以减轻牢狱，但是，徐渭却自辩“非狂”，他明白自己远没有达到那个境界。他明白此时的他还是一个凡夫俗子，深陷欲望的牢笼