桓玄称帝后为消除隐患，欲瓦解北府兵，大力剿杀北府兵旧将，北府军几乎遭到灭顶之灾。正在桓玄盘算之际，刘裕也在暗中和北府兵残余兵将联络，伺机反攻桓玄。元兴三年(404年)二月，刘裕以打猎为名，聚集北府兵残余兵将一千七百余人，在京口举兵起义，歼灭了桓楚在此的兵力，杀死桓修。接着，众人推刘裕为盟主，传檄四方，各地纷起响应。
刘裕在进建康城后，派诸将追斩桓玄，晋安帝在江陵复位。然而，桓氏势力仍在荆州盘踞，并反攻江陵。直至义熙元年(405年)，晋军才再收复江陵，驱逐当地桓氏势力，并迎安帝返回建康。不久，刘裕还镇丹徒。
义熙元年(405年)，刘裕遣使到后秦，要求后秦归还之前占领的南乡、顺阳、新野、舞阴等淮北诸郡，后秦皇帝姚兴可能鉴于西面战事吃紧，不想再在东面又与刘裕为敌，于是答应将淮北的南乡、顺阳、新野、舞阴等十二郡全部归还给东晋。
消灭割据政权
东晋自偏安以来，时时面临着北方的威胁。祖逖、庾亮、褚裒、殷浩、桓温都曾先后北伐，但无一成功。为了强大自身，刘裕决定兴师北上攻伐南燕。义熙六年(410年)二月，南燕将领率军挖地道出击晋军，被击败，退回内城。刘裕乘机四面攻城，南燕尚书悦寿打开城门迎降，晋军攻入广固内城。慕容超率数十骑突围而走，被晋军追获，南燕灭亡。刘裕以广固久守不降为由，入城后，尽杀南燕鲜卑族王公以下三千人以泄愤。慕容超被押送回京师，在建康街头斩首。
消灭南燕后，刘裕又图伐蜀。义熙八年(412年)十二月，因赏识朱龄石的军事才干和丰富经验，刘裕不顾他人反对，超擢他为益州刺史，命其率臧熹、蒯恩、刘钟和朱林等共领二万人伐蜀。一年后，晋军成功打下巴蜀之地，巴蜀地区再入南方版图。刘裕加授羽葆、鼓吹及班剑二十人。刘裕灭蜀后，下令精简各地劳役，休养生息。刘裕征蜀时，也在图谋收复汉中。当刘裕的西征大军攻占益州，灭掉西蜀政权后，便趁胜出击汉中反攻仇池守军，仇池一溃千里，被迫撤出汉中，献上