宝应元年(762年)，肃宗召来瑱赴京任职，这时来瑱性格上的弱点表现出来，他不能像郭子仪那样召之即来，他习惯于襄阳的生活，不想离开襄阳;山南东道的士兵也喜欢他，他就授意部下将领和官吏上表朝廷，请留在襄阳。朝廷答应了山南东道将士的请求，当来瑱走到邓州时，又接到朝廷的诏令，命他回到山南东道节度使的任上。后来肃宗听说来瑱在山南东道做的这些小动作，开始在心里讨厌起来瑱。
荆南节度使吕諲、淮西节度使王仲升及来往于襄阳与长安间的中使都向朝廷反映，说来瑱滥发赏赐以收买人心，恐怕时间久了他得到士兵的拥护，会不利于朝廷。肃宗听信了这些人的话，任命来瑱为邓州刺史，把原隶属于山南东道节度使管辖下的商州、金州、均州、房州等四州分割出来，另外设置观察使管辖，让来瑱只管六州，以达到削弱来瑱势力的目的。来瑱对这些人意见很大，当史朝义的部将谢钦让围攻驻守申州的王仲升时，来瑱按兵不救，王仲升被围好几个月，来瑱担心王仲升会向朝廷告发他，勉强出兵，但王仲升已经战败被俘。来瑱手下行军司马裴茙一直想夺取来瑱节度使的职位，向朝廷上了一道密表，告发来瑱不救王仲升之罪，并说他善谋而勇，倔强难制，应该早点除掉他，请发兵袭击来瑱。肃宗采纳了裴茙的建议。宝应元年建辰月(三月)十四日，朝廷任命来瑱为淮西、河南十六州节度使，表面上显示朝廷对他的宠信，实际上是想夺其兵权，寻机除掉他。同时密令裴茙接替来瑱担任襄、邓等州防御使。来瑱听说让他徙镇淮西，非常害怕，他上奏朝廷说：“淮西没有军粮，我去年在本地种了麦子，请等到收麦以后赴任。”又授意部下上表朝廷，请来瑱留镇山南东道。肃宗本想姑息迁就，不想无事生非，二十三日，又重新任命来瑱为山南东道节度使。而裴茙已经在商州召募部队，观察着来瑱的动静。
本