为了加强管束，在当年官吏考核中，高宗给他的这位小叔叔定了个“下上”的考评成绩，期待他以此为耻，有所长进。其后，李元婴年纪稍长，迁任苏州刺史，随即又转任洪州都督。滕王李元婴一到洪州府(今江西南昌一带)，便建了那座在当时不算什么，后世却成为重要历史文化古迹的滕王阁。据滕王阁有关考证资料，李元婴当初调任洪州都督时，从苏州带来一班歌舞乐伎，终日在都督府里盛宴歌舞，后来又临江建此楼阁为别居，实乃歌舞娱乐之地。如此看来，李元婴喜爱声色犬马的习气仍是未改，只是这时山高皇帝远，没人管他了而已。李元婴担任洪州都督期间，又新添了一个更加恶劣的“爱好”，那就是欺男霸女。
唐人张鷟所撰《朝野佥载》中有这样一个故事:唐高祖李渊之子、滕王李元婴曾任洪州(今江西南昌)刺史。江南三大名楼之一的滕王阁，就是他在时修建的。不过，这个滕王却是个好色之徒。他手下官员们的妻子，只要是长得漂亮的，差不多都被他奸污过。他经常以王妃的名义召唤官员的妻子进府，而官员们的妻子一旦进了王府，就会被他强行拉上床。
当时有个掌管文书的小吏叫崔简，他的妻子郑氏初次来到洪州，滕王就派人召唤她。崔简左右为难，不去的话，怕得罪滕王;去的话，又怕遭滕王污辱。郑氏说:“如今是太平盛世，他敢胡作非为吗?”于是去了滕王府门外的小楼阁。滕王早已经在那里等着，一见郑氏进来，就上前非礼她。郑氏大声喊叫。左右的侍从说:“他是滕王。”郑氏说:“滕王怎么会如此下流?一定是家奴!”边说边取下一只鞋，猛击滕王的脑袋，打得滕王头破血流。用鞋打了还