1924年，19歲的關麟徵進入國民黨陸軍軍官學校(黃埔軍校)，成爲第一期學員。他被編爲第三隊，並參加了中國國民黨。開學典禮上，孫中山勉勵學員不僅要做一個有高度才能的軍人，而且要做一個不怕苦、不怕死的軍人。“不怕苦、不怕死的軍人”對關麟徵一生的戎馬生涯產生了重要影響。
“古北口”戰初告捷
黃埔軍校畢業後，關麟徵在經歷了東征陳炯明和中原大戰之後，積累了一定的實戰經驗，也開始逐步顯示出他身上所特有的軍事才能和天賦。“九一八”事變後，關麟徵常以“毋忘國恥，收復失地是中國軍人的任務”來教導部下官兵。1932年年底，徐州成立二十五師，關麟徵任師長。宣誓就職時，關麟徵以抗日救國爲主題，號召全師將士誓死抗擊日寇，保衛中華民族。一個軍人的“黃金時代”由此開啓。
1933年年初，日軍攻陷山海關，並進犯察哈爾、熱河境內長城諸口，華北岌岌可危。關麟徵奉命開赴古北口抗日。到達前線後，關麟徵親臨第一線指揮作戰，猛烈反擊日軍。雙方短兵相接，戰鬥慘烈，關麟徵被敵人槍彈炸傷多處，渾身是血，但他仍然力戰不退。中山先生在開學典禮上的那句話時時在關麟徵耳邊響起。他一定要做一個“不怕苦、不怕死的軍人”。身旁隨從官兵10餘人全部戰死，他也毫不畏懼，仍然從容指揮官兵與敵人搏鬥，終於將敵人擊退，佔領高地。
古北口戰役是自侵略熱河以來日軍受到的第一次沉重打擊。關麟徵因古北口抗戰有功，獲國民政府頒發的勳章一枚。他和其他傷員住院期間，北平各大、中學校學生前往慰問獻花者絡繹不絕。《大公報》主筆張季鸞撰寫社論《愛國男兒，血灑疆場》以賀其功。
關麟徵的妹妹關梧枝回憶，古北口大捷後，關麟徵寫下了一首七言詩：“半壁河山狼煙中，烽火照紅北地冰。長城之外牧寇馬，鐵蹄咫尺危古城。大廈將傾於湯火，神州存亡瞬息中。豈肯折膝求苟安，站直拋顱笑顏生。炎黃子孫多傲骨，我今抗日三請纓。”
“臺兒莊大捷”留英名
1937年七七事變時，關麟徵已升任五十二軍軍長。這年秋天，他率部隊在平漢鐵路從事抗日鬥爭。9月，他參加了保定戰役。10月，他率五十二軍在漳河南岸擊退日軍土肥原十四師團。轉年，關麟徵參加了著名的臺兒莊會戰，他迎來了“打日本鬼子一生”的頂峯。
1938年3月31日下午，由臨沂南下的日軍阪垣第五師團沂州支隊約4000人配備野炮、坦克突然襲擊關麟徵的五十二軍指揮部。此時五十二軍的兵力全部投入戰鬥，關麟徵身邊只有約300人的一個警衛營兵力。關麟徵臨危不亂，佯攻迷惑敵人。拖延至黃昏後，增援隊伍趕回，關麟徵一舉反攻，把日軍阪垣第五師團沂州支隊包圍，全殲日軍騎兵。此後，關麟徵乘勝追擊，大大減輕了臺兒莊外線進攻的壓力，有力地支援了臺兒莊的正面防守戰。不久，關麟徵五十二軍、王仲廉八十五軍揮戈南指，加緊對包圍臺兒莊的日軍進攻。白天槍炮轟擊，晚上縱火夜戰，使敵人日夜不寧，先後斃敵1000餘人，並將臺兒莊東面的甘露寺、楊樓、陶墩等據點收復。這一勝利，使臺兒莊東北面所受的日軍威脅全部解除。4月6日晚，李宗仁下令全線反攻，中國軍隊在臺兒莊戰役中獲得了輝煌勝利。
臺兒莊戰役後，4月下旬關麟徵率軍把日軍岡崎支隊包圍在碼頭鎮西面的北澇溝。關親自指揮部隊勇猛圍殲堵擊敵人，使日軍死傷累累，傷亡慘重，僅日軍四十一、四十二兩個聯隊傷亡即達1400多人，獲得重大戰果。
關麟徵因臺兒莊作戰有功，升任第三十二軍團長。當時，在黃埔軍校畢業生中任軍團長的僅有胡宗南和他兩人。在臺兒莊戰役中與關麟徵較量過的阪垣徵四郎說：“關麟徵一個軍應視普通支那十個軍。”關麟徵由此得名“關鐵拳”，國內的軍事評論家對他的軍事才能亦大加讚賞。
