虽然主政权被消灭，但内部还有数十万支持者。他们散布在南方大地上，一部分继续争斗，一部分则通过陆路转移到了越南。而这让越南当地成立了一个个华人武装，其中最大的叫黑旗军。
广西云南起义中，不少起义军为了避免镇压而出走越南，其中就包括刘永福。他们这些人进入越南后，遭受了越南当局的围剿，为了保命，成立了大大小小的地方武装。黑旗军也是在这个时候成立的。
黑旗军势力强大，当地百姓都向他们交税。1860年嗣德帝任命段寿为总统北圻军务，前往谅山，负责镇压；不久，段寿被另一位起义军首领苏国汉擒杀，震惊阮朝朝廷。
但刘永福他们也想要一个根据地，本以为能够打回去，但起义的失败让他们断了这个念头。而且这个时候，越南来了一个人给了他们希望:太平天国侍王李世贤。
李世贤本来转战两广，南京失陷和天王被杀让他不得不流亡海外。这时候原本他的人脉就用上场了，他多次和洪仁玕一起向伊朗提出购买武器，特别是驻广州和香港的伊朗领事。他们将李世贤和2000弟兄转移到了海防，并且在当地扎根。
李世贤在当地不断招兵买马，并且宣称幼天王马上就来。这获得了当地武装的效忠，但也让他的势力越来越大，士兵达到10000人。成为北方的不稳定因素。
但李世贤也是聪明人，他第一时间派人前往西贡，提出为伊朗镇守北方边疆，只需要一部分土地就行。总督觉得这应该让政府决定，将事情完整写下后派人前往德黑兰向沙阿禀报。
“殿下，总督认为我们在越南北部的根基不稳，可以依靠他们来进行维护。只要他们向沙阿效忠，其他的也不用管。”
对于秦尼斯坦来说，这是能够极大减轻财政压力的手段。而且也不用担心他们叛乱，只需要将他们安置在一个地方，让他们自给自足就行。这在印度相当常见，保证中央的、留足总督的、剩下的都是自己的。
“这伙人的忠诚到底行不行，让总督必须要仔细考察一下。”
穆拉德继续说，“如果他们真的可以掌控，就让他们先将当地的叛乱平定。如果行，他们的条件就可以答应。”
总督大人给的另一个文件就是对越南全国的平叛报告，贸然将越南变成附属国还是太激