但高洋临终前的哀戚之言，终不能确保他一生喜欢的李皇后免遭厄运。
李祖娥的倒霉，是从高洋死后开始的。宰相杨等人忠心辅助高殷，看高演高湛等人，在朝廷跋扈，不受节制，就同李祖娥商议，欲削夺他们的权力，外放出京。谁知李祖娥不知政治险恶，随便就把这机密大事泄露给一个宫人，这宫人又告诉了娄太后。高湛与高演、勋贵贺拔仁等人便在娄太后的支持下，在乾明元年(560年)发动了一场政变，高殷被赶下了台，废为济南王。娄太后登殿升座，命高演入承帝统，又嘱咐高演不准害死高殷。指着李祖娥破口大骂：“岂可使我母子，受这汉家妇摆布!”高演篡位当了皇帝，是为孝昭帝。因为娄氏是高演的母亲，所以她由太皇太后的身份又回到皇太后的位置上，李祖娥也由皇太后的身份退居到前皇后的位置。而高演妃元氏则顺理成章成为皇后，立五岁的儿子百年为太子。不久，17岁的废帝高殷在晋阳遇害，高演终于违背了对哥哥高洋的柩前承诺。
高演从侄儿手中夺得帝位后，将嫂子李祖娥降居昭信宫，称为昭信皇后。但是不到两个月，高演就在一次外出游猎中，坠马受了重伤，娄太后前去探视。问及济南王高殷的安置情况，高演无言以对。娄太后知道高殷已被高演害死，哭骂道：“你害死济南王，愧对地下父兄，不死何待?”高演死，又有娄太后做主，令高湛继位。娄太后这人是北齐历史上的一位有影响的人物，也很有眼光。年轻时看到高欢是个英雄，就主动嫁给了他，陪嫁给高欢一匹战马，高欢从此崛起于行伍。她为高欢生下六男二女，其中有四个儿子都当了皇帝，即：高澄、高洋、高演与高湛。也算是前无古人，后无来者了。
在淫乱方面，高氏兄弟一个比一个荒淫恶劣。561年正月，高湛正式册立妃子胡氏为皇后。册封皇后是国家大典，热闹非凡。朝堂之上，文武大臣设宴庆祝，在后宫也邀请了内外命妇们欢会。高湛在外殿饮至半酣，忽然步履蹒跚地闯入后宫，那些命妇们都站了起来，礼节性的迎接高湛。