王忠嗣说：“今以数万之众争一城，得之未足制敌，不得亦无害于国，故忠嗣不欲为之。今受责天子，不过以金吾、羽林一将军归宿卫，其次不过黔中上佐。忠嗣岂以数万人命易一官乎!(现在我们拿几万士兵的生命去争夺一城，得到了它，不足以制服敌人，失掉了它，也不会有害於国家。所以，我王忠嗣不想这样做。现在为此事即使受到皇上责罚，不过就是当一个金吾、羽林将军，返回宿卫京师;再不然的话，也不过贬为一名黔中上佐而已。我怎能忍心拿数万人的性命换取一个官职呢!”
李光弼道歉说：“向者恐累大夫，敢以衷告。大夫乃行古人事，光弼又何言!(刚才是因为怕连累大夫，所以大胆地直言相劝。现在我明白了，大夫您这是在效法古人的榜样，我李光弼又有什麽可说的呢!)”于是，恭恭敬敬地退出。光弼为忠嗣所提拔，他这样做也确实是为王忠嗣着想。
由于得不到王忠嗣的有力支持，唐军强攻未果，使得董延光怨愤不已，便将责任推到王忠嗣身上，说他“沮挠军计”。
此前，宰相李林甫因为王忠嗣功名日盛，担心他入朝为相，威胁自己的相位，也非常忌恨他，以至“日求其过”。范阳、平卢节度使安禄山与李林甫内外勾结，阴谋反叛。一次安禄山假称要抵御外族入寇，筑雄武城，大量地贮藏武器。又请王忠嗣率部下来帮助筑城，打算趁机将他的兵马留下。但王忠嗣却先期到达，没有见到安禄山便返回了。此过这次事件，王忠嗣察觉安禄山有谋反之心，此后便多次上言说安禄山要反叛，更加引起李林甫的忌恨。恰好这时石堡城之事传来，李林甫乘机让济阳别驾魏林上书告发王忠嗣说：“忠嗣尝养宫中，云吾欲奉太子。”玄宗闻讯大怒，便将王忠嗣征入朝中，交付御史台、中书省与门下省共同审问。三司会审后，王忠嗣被判死刑。
当时哥舒翰也被征入朝，代王忠嗣为陇右节度使，玄宗对他十分赏识。哥舒翰入朝时，有人劝他多拿一些金帛去救王忠