在日本間諜中，土肥原臭名遠揚，世人皆知。而對青木宣純，國人則知之不多。自1877年至1924年的40餘年中，除中間短暫回國外，青木宣純幾乎都在中國，因而他被日本軍部稱之爲第一個“中國通”。
在中國，他開創了以侵略中國爲目的的特務組織“青木機關”，訓練了大批特務人員，深入中國各地進行諜報及各種特務勾當，稱得上是日本近代間諜戰之鼻祖。
因《三國志》對中國感興趣
青木宣純1859年9月出生在日本宮特縣的一箇舊薄武士家庭，自幼愛讀《三國志》，受此書影響對中國產生興趣。 1875年入陸軍幼年學校學習，1877年入陸軍士官學校，1879年畢業。 1884年被任命爲駐參謀本部人員，熱心鑽研中國問題。
當時，同期生柴五郎、小澤豁郎三人，都是矢志終身研究東亞的人物，不久被派往中國廣州。“至此，軍部內才誕生了第一個‘中國通’。”他原來學的是北京官話，到廣東後無法開展工作，於是下苦工夫學成一口流利的廣東話，順利地完成了情報蒐集工作。
地圖一向被稱爲軍隊行動的嚮導和作戰的指南。因此，地圖的測繪，一直被各國政府視爲“國之神器，不可予人”，而掌握了一個國家的精確地圖與關鍵設施的地理座標，也就意味着對其國防和經濟命脈的瞭如指掌。 1887年青木宣純和同學柴五郎受命繪製北京周圍的地圖，當時日本參謀部的北京地圖非常簡略，經過他們兩人的勘測繪製，爲軍部提供了一份非常詳盡的北京地圖。
甲午戰爭後，青木於1897年被參謀本部派往北京，以日本駐華公使館武官的職位，在北京設立特務機關，對外則以“青木公館”的名義，廣泛結交中國官紳人士。其最爲得意之舉莫過於結識了當時的山東巡撫袁世凱，並取得對方的信任，受其邀請擔任軍事顧問。青木是“唯一可靠的日本人”。
協同八國聯軍攻陷天津
1900年青木前往濟南，途中適逢義和團起事，被迫滯留天津。青木在天津糾集日租界的僑民組成“義勇隊”，抵抗義和團。不久八國聯軍入侵，青木積極協同聯軍作戰;八國聯軍佔領天津之後，設立軍事管制機構——暫行管理津郡城廂內外地方事務都統衙門，後更名天津地區臨時政府，青木自始至終參於其事，擔任軍政委員，大肆搜捕殺害義和團民。 1902年8月聯軍撤離天津，青木奉調回國，任炮兵連隊長。
日俄戰爭前的1903年末，青木宣純受兒玉源太郎的慫恿和鼓動，爲進行謀略諜報活動而再次來到北京，擔任駐北京公使館武官。此時，和他有密切關係的袁世凱已繼李鴻章之後擔任了直隸總督、北洋大臣，並駐在天津，這爲青木在中國活動提供了便利。
從其長期經驗來看，青木對中國的形勢判斷之準確令人信服。這體現在他對中國政治家的人物評價上。在1917年1月《青木中將支那之行時所帶來的書信》中，分析了當時以北京爲中心的政治形勢，將其作爲官僚與民黨的對立來把握。其中，他對各首領人物做了如下評價：
(1)黎元洪乃溫厚之人，有重民意之風，與官僚派有衝突。
(2)段祺瑞乃官僚派領袖，心胸狹隘之人，與民黨無法相容。
(3)唐紹儀、孫文乃高理想之人，與官僚絕不相容，兩人乃正道中人，爲國民黨之領袖。
(4)梁啓超和湯化龍乃進步黨領袖，乃反覆無常之士，現企圖通過官僚派來壯大其政黨。
(5)岑春煊處於中立位置，乃正直之士。
(6)馮國璋的態度讓人無法捉摸、變換不定。在出身關係上，接近官僚派，但和國民黨也相處很好。
據此，我們能夠看到他對先前同他接近的官僚派給予了否定的評價，而對國民黨則寄予了好感。這與他早期的看法有着明顯的不同。
在中國組織對俄諜報
1903年11月，參謀次長兒玉源太郎突然訪問青木，命令他“再次赴清國執行祕密使命”，即組織諜報機關，準備對俄開戰，兒玉給他下達了三個使命，一、與中國共同組織對俄諜報。二、開戰後破壞俄軍交通線。三、策動馬賊團對俄軍進行騷擾。這樣青木第三次成爲了清國公使館武官。
青木倉促整理行裝，祕密到天津見到了直隸總督袁世凱，袁在私邸接見了突然來訪的青木，青木說：“日俄開戰是無論如何都免不了的。爲此，有事與閣下商量。戰爭上日本獨立作戰，而暗地裏無論如何不能不借助閣下的協助。 ”青木宣純要袁世凱幫忙的，就是指使在滿洲和蒙古的馬賊起事，從後方和側面擾亂俄軍。袁世凱覺得他這個想法很有意思，可以爲他找些門路。但在自己管轄的直隸省境內不許製造騷亂。
結果，袁世凱從部下挑選精幹士官數十人，以逃脫爲名，把他們送到青木手中，供其驅策。另一方面，直隸總督府答應每天從特派到東北和蒙古的諜報員那裏收集情報，整理後交給當時任袁世凱顧問的阪西利八郎少佐，阪西將其譯爲日文轉送中國駐屯軍司令官。司令官再將諜報電告參謀本部。這使青木大喜過望。
1904年2月4日，日本御前會議決定對俄開戰，同一天參謀本部給青木發出急電，要他切斷北京到恰克圖的歐陸聯絡電線，結果他不但切斷了這條電線，還切斷了營口到普蘭店、旅順的電線，致使東鄉平八郎2月8日偷襲旅順的時候，俄國艦隊因完全沒有接到仁川海戰和日俄宣戰的消息，還在搞慶祝活動。
利用女間諜切斷鐵路
2月9日，在武官室召開會議，內田康哉公使、橋口勇馬少佐、佐藤安之助大尉和35名浪人代表出席，傳達了參謀本部要求切斷西伯利亞大鐵路橋的指示，當即組成4個任務班(後來日本的“特務”一詞，就是從青木的“特別任務班”演變而來的)，還利用了安置在喀喇沁王府做教師的河原操子做掩護，準備切斷齊齊哈爾或海拉爾方面的鐵路。
這個河原操子原本就是上海一家務本女子學堂的女教師，後來卻成爲日本情報人員，在喀喇沁王府做起了教師。河原操子從第一天起，從未敢掉以輕心，教學的同時，她始終在密切關注着喀喇沁王與俄國之間的舉動，喀喇沁王以前因爲地域關係與俄國人接觸較多，而與日本少有交集，直到娶了肅親王的妹妹後，纔開始對日本漸生好感。現在河原操子到來後，以她獨有的教學能力和親和力讓喀喇沁王日益疏遠俄國，轉而親近日本。河原操子也藉着熟悉周圍環境的機會，經常暗地觀察俄國邊境的駐兵情況。
河原操子與日本參謀本部的聯繫也非常隱蔽。參謀本部一旦有祕密指令，會先送到北京公使館，青木宣純接到後，馬上起用青木機關專門負責此線的間諜，當時這個間諜是潛伏在赤峯的一個張姓中國人，他將密信標註“沈”字後，由僞裝成朝廷使者的人騎快馬送給河原操子。同樣，河原操子若有急件需送，就會請喀喇沁王的王妃派出特使送到熱河，再通過那位張姓間諜用密碼電報傳回北京公使館。不便使用電報的就以喀喇沁王府公務的名義，派專使直接送回北京公使館，再由青木宣純上報給日本參謀本部。喀喇沁王的一舉一動就這樣落入了日本人的監控之下。
在河原操子的掩護下，這4個任務班途中會合了縱橫草原的巴布扎布的上千名蒙古騎兵，炸燬並切斷了遼河大橋。 7月，日俄遼陽大會戰日本大勝，其中一個重要原因就是青木的特別任務班提供的準確情報。這時青木調任滿洲軍參謀部任職。 8月，在錦州的一個喇嘛廟中，青木宣純召集部下，宣佈第一期任務結束，現階段的任務是仍以“特別任務班”的組織形式，網羅活躍在東北各地的馬賊組建東亞義勇軍，配合正規軍作戰，結果他部下的浪人召集了數萬馬賊，包括馮麟閣、張海鵬、杜立山、巴布永等，馮麟閣手下不下2000餘人，被青木拉攏後，一再擴充，到戰爭結束時擴大到騎兵4000餘;被網羅的其他地區的馬賊也不下萬人。在“特別任務班”的操縱下，“滿洲義軍”活躍在俄軍後方，破壞鐵路，襲擊兵站，焚燬軍用物資。並伺機襲擊俄軍，如黑龍江哥薩克第5、第6兩個中隊幾乎全部被殲滅。俄軍米斯欽科騎兵軍的快速機動被阻止，1905年3月，日本滿洲軍司令大山岩率部27萬在奉天大破俄軍35萬，斃俘俄軍11萬，贏得了陸戰決定性的勝利。
日俄戰爭中，日本大勝，青木宣純的作用至爲重要。
遊走於各方勢力之間
1908年青木又一次被派往北京出任駐華武官。 1912年晉升中將，調任旅順要塞司令官。
從青木宣純的經歷來看，他在中國活動的時間前後達數十年之久，可以說是陸軍中首屈一指的“中國通”。
袁世凱擔任中華民國臨時政府大總統後，中國並沒有因此而統一和安定，由於他沒有實行民主政治，南方革命黨以孫中山爲首一再掀起反袁鬥爭，致使中國仍舊處在一片混亂之中。對此，駐華公使館武官青木宣純認爲：“該國的狀況非常混亂，以袁之力量雖可暫時得以表面解決，不過他處在權勢之位，終究不是好事，完全的和平也難以實現。 ”由此，他得出“此時毋寧說對南方寄予同情爲得策”。即主張日本不僅要同袁世凱合作，也要和南方革命派合作。
1913年8月4日，孫中山、胡漢民一行，由福州馬尾乘日輪“撫順丸”去基隆，5日從基隆換乘日輪“信濃丸”赴日本。9日到達神戶，18日轉抵東京。黃興繼孫之後，於27日到達東京，化名岡本義一。先後到達日本的還有李烈鈞、柏文蔚、居正、謝持、許崇智、田桐、廖仲愷、熊克武、李根源、鈕永建、林虎、冷愈、程潛、方聲濤、鄒魯、譚人鳳、李書城等人。陳其美、戴季陶、朱執信等在國內失敗後，也相繼到日本。
革命黨人出逃得到日本軍人協助。日駐華武官青木宣純致電參謀總長說：“無論是站在人道上或道義上，均應同情南方革命黨，並儘可能予以援助，至少應給予充分方便。 ”倪嗣沖爲此致函日本駐南京領事，要求派兵到日本商船搜捕李烈鈞等。日方表示“礙難認可”。
然而，這並不表明他真的希望同南方革命派進行合作，也不表明他真的尊重中國，認爲中國可以在南方革命派的領導下實現和平與統一。這是因爲他認爲：“支那人只有利己心，毫不顧及國家利益，從他們身上看不出能依靠他們實現國家的統治。 ”由此不難看出，他的所謂穩健主張的背後是“中國人沒有統治能力的悲觀論”。
青木宣純1915年調回參謀本部。其時，袁世凱復闢帝制，孫中山發表《討袁宣言》，日本內閣有意援助孫中山的倒袁運動，爲此參謀本部再一次起用曾被袁世凱視爲“唯一可靠的”青木，派往上海，配合孫中山推翻袁世凱政權。 1916年6月袁世凱驟亡，青木的任務也就隨之結束。 1917年1月，青木又出任黎元洪總統的最高軍事顧問。 1923年12月，青木宣純死於日本家鄉，從而結束了他在中國長達40年的特務生涯。
