從先秦時代開始，就不斷有大陸移民進入日本列島。最早用文字撰述的日本史籍《古事記》、《日本書紀》中，把外來移民稱之爲“漢人”、“新漢人”、“吳人”、“唐人”、“歸化人”等。大陸移民移居日本列島的主要可分爲四個時期，即秦漢時代——發軔期;魏晉南北朝時代——高潮期;隋唐時代——持續期;宋明時代——終結期。其中也不乏日本朝廷爲吸收先進文化，引進技術人才，多次遣使至中國大陸和朝鮮半島尋覓、勸誘漢人來日等，種種因素推動了大陸移民的赴日高潮。
第一次是在秦漢時期(公元前3世紀至公元3世紀)
其間流傳最廣的就是發生在秦始皇時期的徐福東渡日本的傳說。在司馬遷的《史記·秦始皇本紀》中中有這樣一段記載：始皇二十八年：“齊人徐 (徐福)等上書，言海中有三神山，名曰蓬萊、方丈、瀛洲，仙人居之。請得齋戒，與童男女求之。於是遣徐福發童男女數千人，入海求仙人。”那麼，徐福求藥尋仙最後去了哪兒呢?據《史記·淮南衡山列傳》記載徐福最後到達“平原廣澤”之地，竟“止王不來。”據說，這“平原廣澤”是今天日本的九州。在日本學術界，研究徐福事蹟的學術團體、學者和專家有很多，也有很多研究徐福事蹟的文章、著作和專著，都確認了徐福到達並開發日本事實，徐福至今也仍受到日本民衆的尊崇與愛戴。
不管徐福的傳說到底怎樣，但是有一個事實是毋庸置疑的，即在秦漢年間，就開始有中國人大量移居日本。首先在秦始皇的鐵騎橫掃六國時。舊燕國和齊國民衆爲逃避戰亂，分兩路逃亡日本：北路是燕國人由東北到朝鮮半島再渡海到日本，南路是山東半島的齊國人直接渡海赴日本。其次在在西漢武帝時期。元封三年(前108),漢武帝滅衛氏朝鮮政權，在朝鮮半島北部設置樂浪等四郡。大量漢族人民隨之移居四郡，其中有一部分不斷往半島南部遷移，直至跨海到達日本。
再次是東漢時期。此時中日之間終於建立了正式的官方聯繫。據《後漢書·東夷列傳》記載，公元57年，倭奴國來朝，漢光武帝劉秀封倭奴酋首爲國王，並賞“漢倭奴國王”金印一枚。1784年，倭奴國內發現“漢倭奴國王”五字金印一枚，證明了記載的可靠。另據日本史籍也有關於此事的記載。這個時候開始，就有一部分漢朝皇室成員(劉氏)因出使、避難等原因開始渡海來到日本。西文首氏(王氏)也有人到達了日本。
第二次是隋唐時代(公元6世紀末至10世紀初)
此時，隋朝完成了中國的統一，結束了長達三個世紀的南北分裂狀態，中國封建社會開始進入了鼎盛的巔峯時期。尤其是大唐王朝前期(貞觀之治到開元盛世)，國家空前強盛，百姓生活富足安康。相比之下的日本，則正處於由奴隸社會向封建社會轉折的陣痛期，國勢日衰，內部矛盾重重，內訌不斷。大陸移民東渡熱潮日趨消退，雖仍有部分知識分子、手工業者和學問僧在日本使者的勸誘下赴日，但是人數相比兩晉時期已是強弩之末。相反，強盛的大唐卻強烈的吸引了當時的日本人不畏驚濤駭浪，大規模派遣使節(即遣唐使)來唐朝訪問學習。
本文開頭引用李白詩中的晁衡就是其中一名最著名的留學生(日文名叫阿倍仲麻呂)。遣唐使回日，唐朝有時派遣送使同去。由於航行艱險，他們往往居留下來，歸化日本。如沈惟嶽、袁晉卿等，都在日本朝廷任職。
唐朝僧人也有隨遣唐使赴日的，最有名的是鑑真東渡。有趣的是，伴隨着大規模的人員交往，出現了很多唐日之間的跨國婚姻，如遣唐大使藤原清河娶的就是一位中國新娘。可見，跨國婚姻不是今天才有的的時尚，早在一千多年前的唐朝就已相對的普遍化了。安史之亂後，唐朝衰弱，藩鎮割據混戰，民不聊生，此時直至唐末，又陸續有不少民衆駕舟東渡，但規模已無法與兩晉時相比。甚至有傳說楊貴妃並沒有在馬嵬驛被縊死，而是隨使者逃到了日本，據說日本還有人自稱是其後裔。
第三次是宋明時代(公元13世紀末至17世紀末)
遣唐使於公元895年廢止後，一直到元朝，中日兩國之間的關係趨於冷淡，官方往來基本停止，大規模有組織的大陸歸化人移民浪潮也基本結束。有據可查的是洪武二十五年(1392)，朱元璋“更賜閩人三十六姓”人琉球。這批中國移民主要是向琉球傳授中國先進的生產技術和文化。琉球王國也曾主動請求賜人，如1606年，尚寧王受冊封時，便請賜明人歸化。
如從中國去的蔡氏爲蔡襄的後人，林氏爲林和靖家族的後人。到了元滅南宋和清軍入關的殘酷民族戰爭與屠殺中，又有些南宋和明朝遺民(主要是江南漢人)遷居日本(比如著名的南宋溫州雁山能仁寺住持高僧祖元、明朝宗室遺民朱舜水等)，但爲數已不足道。一個最主要的原因就是唐宋以來，中國造船技術的進步和指南針的使用大大提高了中國人的航海技術，大量的貧苦農民和戰爭難民開始浮海到自然條件更爲優越的南洋一帶謀生，人多地狹的日本已逐漸失去了對大陸人民的吸引力，不再是中國海外移民的首選目的地。
17世紀末，清朝統治日趨穩定，民族壓迫政策有所減輕，經濟由恢復而發展，開始進入封建社會最後也是持續時間最長的盛世——康乾盛世;日本則進入了德川幕府統治時期，中日兩國都奉行閉關鎖國的國策，官方往來再次中斷。至此時，引發移民潮的原動力不復存在，持續了將近2000年的中國大陸移民遷居日本的歷史終於徹底終結。
正如日本一位史學家所說的，“只要統計一下我們祖先的數字就明白了。可以說我們現代的每一個日本人，都繼承着一千數百年前生活着的全部日本人的血液，所以，必須承認，我們不論誰的血液中，都含有百分之十或二十古代歸化人的血液。雖然流行着我們的祖先同化了歸化人的說法，但並非如此，歸化人(漢族移民)就是我們的祖先。”
