第二次是魏晋南北朝时期(公元3到6世纪)。
在四世纪末和五世纪初以及五世纪末，中原人民为躲避战乱，大规模迁徙日本群岛，形成两次日本史书称之为“归化人”赴日的高潮。主要祸根是由西晋末年八王之乱所引发的百年内战(史称“五胡乱华”)，长期极其残酷的民族仇杀使大陆汉族人，尤其是中原的衣冠望族不堪忍受，开始了向四周大规模迁徙的浪潮：主要是南迁江南，其次是由东北逃向朝鲜半岛，南北两路难民都有相当多的一部分最后去了日本。
在《古事记》和《日本书纪》等日本早期史书中，对这段时间大量来自大陆的归化人到达日本有着非常详尽的记载。在日本文书中常被提到的汉族“归化人”的代表，有弓月君(秦氏)、东汉直(刘氏)、西文首(王氏)等人。他们大都是来自朝鲜半岛的汉族“归化人”，有一个共同的特点，那就是，这些人常常自称为秦始皇或汉高祖的后裔。
例如，弓月君及其所率领的秦人，自称为秦始皇的后裔;阿知使主及其儿子都加使主率领的汉人，自称为汉灵帝的后裔;身狭村主青又自称为吴孙权的后裔;再晚些如司马达止等则自称为南朝司马氏的后裔等等。
据《古事记》和《日本书纪》应神纪所载，大约在四世纪初弓月君率其部民一百二十县(或一百二十七县)归化日本。这是后来被称作秦氏一族的来源。
到雄略纪时(即倭王武时代，大约在五世纪后半)，收集秦氏遗族，共得九十二部一万八千六百人，赐其首领名为酒公。秦氏一族在长期的养蚕制丝业、农田水利和土木工程的生产活动中，逐渐蓄积财富，变为具有实力的地方豪族，成为倭王的得力官吏，形成地域集团的首领，并加入倭王高级统治集团，由倭王赐姓为直，成为日本古代重要的氏姓巨族之一。
刘姓作为两汉皇族也是此时到达日本的汉族归化人的主力。历史上最有名的刘氏开拓日本人物，是今天日本原田、高桥、大藏等家族的共同祖先阿知王。阿知(也写作阿智)王，又称阿知使主，是东汉最后一个皇帝汉献帝的玄孙。日本原田家族族谱《大藏朝臣原田家历传》称，阿知王是汉献帝的玄孙。
当年曹氏灭汉建魏，汉献帝刘协被曹丕贬为山阳公，建都山阳郡下的浊鹿城(一