在公元三一三年乐浪郡灭亡后，其中一部分人移居于百济。王氏的后裔从百济再迁移至日本。因所居之地靠近河道，因而和船运、物资的收藏、管理、搬运等工作发生联系。经过长期的发展，这一族也形成拥有氏姓的地方豪族。为和东汉直归化汉人相区别，且居于大和的西部，遂称为西文首氏。
这样，秦氏、东汉直氏、西文首氏等归化汉人，以其大量的经济活动，逐渐形成地方氏姓大族，进入倭王政府，成为日本统治阶级的组成部分。
此时移居于日本群岛的汉族，远不止上述三族。据九世纪初日本天皇政府编纂的《新撰姓氏录》所载，在天皇政府中有一定政治地位的氏中，在京城、山城、大和、摄津、河内、和泉等地区收集起来的归化人系统的氏有三百二十四氏(其中一部分是汉族)，约占日本全部氏的百分之三十。
这百分之三十的归化人中虽然不全是汉族，但汉族所占的比例不会小。这话说得很中肯，去到日本群岛的汉族人民，就是作为日本人的一员在自觉地建设着日本，但是，他们在客观上起了促进中日文化交流的作用。两晋“五胡乱华”时期东渡日本的移民，大都身怀一技之长，深受日本朝廷重用。无数事实证明，大和国家统治机构的完备，经济的发展，国力的增强，无不与大陆移民有密切关系。
第三次是隋唐时代(公元6世纪末至10世纪初)。
此时，隋朝完成了中国的统一，结束了长达三个世纪的南北分裂状态，中国封建社会开始进入了鼎盛的巅峰时期。尤其是大唐王朝前期(贞观之治到开元盛世)，国家空前强盛，百姓生活富足安康。相比之下的日本，则正处于由奴隶社会向封建社会转折的阵痛期，国势日衰，内部矛盾重重，内讧不断。大陆移民东渡热潮日趋消退，虽仍有部分知识分子、手工业者和学问僧在日本使者的劝诱下赴日，但是人数相比两晋时期已是强弩之末。
相反，强盛的大唐却强烈的吸引了当时的日本人不畏惊涛骇浪，大规模派遣使节(即遣唐使)来唐朝访问学习。
李白《哭晁卿衡》
日本晁卿辞帝都，征帆一片绕蓬壶。
明月不归沉