杨广知道皇帝对皇后言听计从，便选择主攻独孤皇后。皇后最痛恨诸王与大臣宠幸媵妾，杨广便在人前独与萧妃厮守。后庭媵妾生下了子女，杨广便令人悄悄弄死。如此“尊妻疏妾”与“不好女色”的行为，正中独孤皇后下怀。由是大赞杨广贤德，皇后的态度对皇帝和大臣都产生了微妙的影响。
杨广任扬州总管时，入朝述职完毕。在回扬州前，入宫向皇后辞别道：“孩儿镇守一方，即将离别，母子之情，实结于心，一朝分离，无法侍奉，相见之日，杳然无期。”言罢伏地流涕。皇后亦忧愁伤心，泫然泪下。
杨广接着进谗言道：“孩儿生性愚下，常守兄弟之情，不知何事，得罪东宫，使太子对孩儿长积盛怒，欲加屠陷。孩儿常常害怕谗谮生于投杼，鸩毒遇于杯勺。因而日夜担忧，恐失性命。”
皇后忿然道：“睨地伐(杨勇小名)越来越叫人不能忍受了，我为他娶了元氏女，他竟不以夫妇之礼相待，专宠阿云，生下犬子。前些日子元妃可能遇毒而亡，我还没有穷究，因何故又对你怀此恶意?我在尚且如此，我死后，难道要鱼肉你们兄弟吗?每想到东宫无正妃，倘若皇帝千秋万岁后，遣你等兄弟向阿云儿前再拜问讯，这该有多么痛苦啊!”
杨广再拜，呜咽不能止。皇后亦悲不自胜。自此，独孤皇后决意废杨勇而立杨广。
离别后，杨广知道了母后的废立之意，遂加快了取代太子杨勇的步伐。当时，越国公杨素深得隋文帝宠信，而杨素又极信任其弟杨约。杨广于是先派心腹宇文述携金银珠宝结交杨约，再由杨约将皇后有废立太子之意转告杨素，并让杨素帮助晋王杨广谋夺太子之位。杨素本来贪位嗜权，闻言霍然道：“果如宇文述所言，我何乐而不为?”
数日后，杨素入内宫侍宴，在皇后面前试探性地称赞杨广，孝悌恭俭性格为人很像皇帝，以此揣摩皇后之意。独孤皇后流着泪，把曾经对杨广说的话又说了一遍。杨素知道皇后的心思后，当场说了不少太子杨勇的坏话。独孤皇后随后赐予杨素大量金银，让他在皇帝面前说赞成废立太子的话。
太子杨勇知道了晋王杨广的阴谋后，既忧又惧，无计可施。便使人作巫蛊，在后院造室屋卑陋的庶人村，自己时常布衣草褥寝息其中，以求自保。但皇后已经下定了改换太子的决心，经常派人到东宫刺探情