1898年，沙俄政府強迫清政府把中國旅順和大連灣“租借”給俄國，即把這塊租借地劃爲俄國的一個州——即稱“關東州”。1904年2月，日俄戰爭爆發，持續1年零5個月，最後以俄國的失敗而告終。戰後，日本佔領了戰地。
長期覬覦我國東北土地的日本侵略者，藉口保護南滿鐵路權益，專門成立了一支所謂的“滿鐵”守備隊，另外還留駐南滿一個師團。兩部兵力大約兩萬人，歸屬關東總督指揮。日本關東軍是日本陸軍的一個重要組成部分，它因侵駐中國東北的金縣、大連地區的“關東州”而得名。由此，關東軍便開始了盤踞東北長達40年之久的罪惡行徑。
1928年，關東軍制造皇姑屯事件，炸死中國奉系軍閥首領張作霖。1931年策劃“九一八”事變，侵佔中國東北全境。從此，關東軍對中國東北實行殖民統治，殘酷鎮壓中國抗日軍民，瘋狂掠奪糧食和礦產資源，把中國東北建成日本進一步侵略擴張的重要戰略基地。
與此同時，關東軍開始急速增加兵力：1931年關東軍僅有3個師團，1932年達到6個，1933—1936年保持5個師團的兵力，1937年達到7個，1938年9個，1939年11個，1940年12個。1941年七八月間，爲了配合納粹德國對蘇聯的進攻，關東軍接連組織以蘇聯爲目標的特別大演習，並再次調集大量部隊囤積東北。到日本偷襲珍珠港前，關東軍的總兵力已經達到31個師團，人數上升到85萬人，號稱百萬。眼看德國進攻蘇聯受挫，日本十分忌憚，不敢貿然進攻蘇聯。趁英法等國忙於歐洲的非洲戰事，無力東顧之機，日本人決定先發動太平洋戰爭。關東軍於是奉命南下。
1941年12月7日，日本偷襲珍珠港，挑起太平洋戰爭。次年6月，日軍在中途島海戰中遭到慘敗，被迫停止了戰略進攻，轉而採取守勢。關東軍也不敢再主動挑起事端。
1942年下半年，日本《陸軍綜合作戰方案》專門指示關東軍，要“防止對蘇發生戰爭，維持北方靜謐狀態”，但仍在繼續擴充關東軍力量。1942年10月，日本將關東軍司令部升格爲關東軍總司令部，增設兩個方面軍司令部和裝甲軍、關東防衛軍司令部以及第二航空軍司令部。
從1943年下半年起，爲挽回太平洋戰場的頹勢，日本大本營開始陸續從關東軍抽調兵力增援太平洋戰場，指望這支“精銳之師”能夠挽救自己失敗的命運。
1945年1月，大本營又從關東軍抽調13個師團和一支特設的具有高度機械化的常備兵團赴太平洋戰場。可是，關東軍不但沒能扭轉太平洋戰爭的敗局，反而白白充當了對美作戰的炮灰。
4月初，美軍攻佔沖繩島，並對日本本土開始空襲，日本不得不集中兵力進行本土決戰的準備，爲此又從關東軍抽走7個師團，並將關東軍儲備的近1/3的戰略物資以及大批人員調回國內。
1945年5月初，德國無條件投降後，蘇聯的視線逐漸轉向遠東地區。中國共產黨領導下的東北各抗日武裝也不斷打擊和消滅日軍力量。關東軍只好重新擴充力量，進行備戰。爲此，關東軍將在東北的25萬退伍的日本軍人重新徵集，並編成8個師團、7個混成旅團、1個坦克兵團和5個炮兵聯隊，作爲臨時部署兵力的補充。經過迅速補充，關東軍兵力一舉達到24個師團，約70萬人。關東軍兵力的增加只是一種表面的膨脹，武器裝備和戰鬥素養僅僅相當於以前的8個半師團。特別是由於日本在各個戰場連遭慘敗，士氣低落，關東軍往日的威風已經不復存在。
歐洲戰事結束後，蘇軍開始騰出手來對付關東軍。1945年8月8日蘇聯向日本宣戰。9日凌晨，蘇軍突然從三個方向同時向日軍發起了強大的突擊行動。9日，毛澤東主席也發表了《對日寇的最後一戰》的聲明，配合蘇軍的進攻行動。
在蘇軍的強大攻勢下，關東軍精心佈設的陣線很快就土崩瓦解，總司令部慌忙決定放棄“新京”(長春)，固守通化，並指令僞滿洲國皇帝溥儀隨總司令部遷往通化，企圖在通化一帶與蘇軍決戰。
此時的關東軍官兵已經完全沒有了鬥志，紛紛逃命。原來設想的大決戰竟然化爲一場拼命的追逃遊戲。蘇軍各個方面軍的作戰行動都進展順利。特別是由克拉夫欽科上將指揮的近衛坦克第六集團軍在大興安嶺的突擊行動收到了奇效，在不到一週時間已前突到東北中部地區，創造了一個奇蹟。關東軍從此一蹶不振。
8月10日，日本大本營下達命令，指示關東軍在萬不得已的情況下，可以放棄滿洲，退守朝鮮。但長期以日軍“王牌”自居的關東軍爲了維護自己“皇軍之花”的臉面，仍然負隅頑抗，不肯投降。
8月15日，日本天皇裕仁公開宣佈投降。但驕橫的關東軍藉口沒有收到日軍大本營的停戰命令，仍然繼續抵抗。到17日，除海拉爾、虎頭和東寧等少數築壘地域的殘餘日軍仍在頑抗外，關東軍已經完全喪失了抵抗能力。眼看敗局已定，關東軍最後一任總司令山田乙三大將終於向蘇軍提出了停戰談判的請求。
8月19日中午，蘇軍阿爾捷緬科上校率5名軍官、6名士兵組成的軍使團，在9架殲擊機護航下到達長春機場與日軍進行談判。迫於壓力，山田乙三向蘇軍代表交出了象徵指揮權的軍刀，宣佈自己和部屬成爲蘇軍俘虜。此次戰役中，關東軍損失約67.7萬人，其中8.3萬人被擊斃，59.4萬人投降，而蘇軍僅傷亡3.2萬人。
不僅如此，那些靠關東軍發家的日本高級戰犯大都也沒有逃脫正義的審判。曾任關東軍的各個首領均被送上了絞刑架。其他一些臭名昭著、惡貫滿盈的關東軍將領要麼受到懲罰，要麼揹着千古罵名苟且偷生。
