对大多数女人来说，能收到这样的信一定会欣喜若狂。但是约瑟芬却对那些信毫不在意，当时她正在向另一个男人卖弄风情。她甚至懒得写回信，这使拿破仑急得快要发疯了。
最后，她的冷漠使拿破仑感到了厌倦。当他远征埃及的时候，邀请了一位金发碧眼的女郎和他一起喝茶。约瑟芬在遥远的巴黎也听到了一些风声。
拿破仑远征归来后，和约瑟芬交流了各自的想法。结果，他们分居了。这导致了长期的家庭纠纷。约瑟芬比拿破仑的姊妹们更有教养，拿破仑的姊妹们对她十分嫉恨。她们总觉得自己受到她的轻视，这种感觉使她们异常愤怒，并发誓一定要让她难堪。她们嘲笑她，叫她“老女人“，并且劝拿破仑和他的“老女人“离婚，另娶一位年轻漂亮的女子。不过，无论她们怎么劝说，都不能消除拿破仑对她的爱恋。
约瑟芬与拿破仑结合的最大不幸是没有孩子，拿破仑一心想的是称霸欧洲，并有儿子继承他的基业，1804年他被参议院敕令尊为皇帝后，这一想法更明显化了。1809年11月日，刚过40岁的拿破仑终于提出了要和约瑟芬离婚。那天当约瑟芬同拿破仑一如往常共进午餐的时候，拿破仑一喝完咖啡就令左右退下。他走近她，拿起她的手按在他心上，凝视了片刻说：“约瑟芬，我亲爱的约瑟芬!你知道我爱过你，我在人世间得到的仅有的幸福时刻都是你一人赐给的。但是，约瑟芬，我的命运要高过我的意志;我最珍贵的爱情必须让位给法国的利益。“
1809年12月16日，拿破仑与约瑟芬正式离婚。
和约瑟芬离婚使拿破仑伤心至极，当他在离婚书上签字时，竟忍不住哭了起来。离婚后的第三天，他坐在皇宫里，凝视着天空，闭门沉思，拒绝接见任何人，也无心做任何事情。
他们离婚后不久，拿破仑迎娶了奥地利的玛丽·路易斯。和所有的奥地利人一样，玛丽·路易斯是在蔑视拿破仑的教育下长大的。她向上帝祈祷，保佑自己不要嫁给拿破仑。但是，她的父亲出于政治上的考虑，坚持把她嫁给了拿破仑。在她还没有和拿破仑见面的时候，这桩婚姻已成定局。正因为如此，玛丽对他毫不关心，在他开始打败仗