徐渭晚年与儿子不和，生计无着，只能靠卖字画度日。但他极其厌恶权贵，富贵之人的宴请从来不去，反而左邻右舍的平头百姓，一把青菜、一条鱼、一杯酒，往往就能换到他挥毫泼墨。他风趣地自嘲是“数点梅花换米翁”。
70岁时，徐渭意识到自己的生命快走到尽头，开始着手撰写《畸谱》，为自己的一生行事编年。所谓“畸人”，语出《庄子》，指的是特立独行、不同流俗的人。他们乖异于人伦、却合于自然天道。
明万历二十一年(1593年)，72岁的徐渭在自己破旧的小屋中，离开人世，身下是杂乱无章的稻草。门外，是那副流传千古的对联：“几间东倒西歪屋，一个南腔北调人。”
谁也没想到自杀九次不成的徐渭，最终竟是穷死!