女王同卡里姆的关系让王室中人大为不快，但女王毫不在乎，尽管卡里姆就在身边，她每天还是要给他写数封信。卡里姆每天都阅读女王写给他的信。渐渐地，卡里姆开始建议女王如何处理印度穆斯林和印度教徒之间的纠纷，并希望女王将他的意见转发给不知所措的印度总督。卡里姆本人是一名穆斯林，所以他的建议看上去总是有利于穆斯林。由于担心卡里姆干预国政，王室成员和其他宫廷侍臣指责他是间谍，目的是使女王反对印度教徒。宫廷侍臣们的不满在1889年达到顶峰。有一次，女王单独同卡里姆在一间苏格兰小屋度过了一整晚。多名宫廷侍臣试图让女王远离卡里姆，但都没有效果，女王认为这些人的动机无非出于种族歧视和嫉妒。1895年，女王授予卡里姆“印度帝国勋章”，同时赐给他一大片印度土地。据说，卡里姆还想要爵士爵位，但被女王拒绝了。
1901年，维多利亚女王去世，卡里姆被安排参加了葬礼。然而，英国王室对卡里姆的敌意由来已久，葬礼结束后没几天，新国王爱德华七世便下令销毁有关“丑闻”的所有记录，卡里姆也被管制起来，卫兵命令他交出女王写给他的每一封信。之后，国王命令卡里姆返回印度。尽管如此，爱德华七世仍没消除疑虑，接下来的几年里，他派特工前往印度，督促卡里姆一家销毁所有同女王有关的纪念物。1909年，46岁的卡里姆去世后，爱德华国王仍不罢休，又派特工警告卡里姆的妻子保守秘密。
然而，还是有不少“证据”流传至今，比如卡里姆本人的日记。这些“证据”显示，卡里姆同女王的关系确实“暧昧”，如卡里姆教女王学“你会非常想念‘勤务员’”、“抱紧我”等乌尔都语。如今，卡里姆家族的后人公开这些日记，希望用这种方式为卡里姆在历史上定位。他们表示，卡里姆不是很多历史学家所描绘的“向上爬的小人”，事实上，卡里姆是女王最亲密的伙伴，他带给了这位寡居的女王很多快乐。