1937年“七七事變”後，王耀武的51師從漢中調往上海，參加著名的“八·一三”抗戰。51師堅守在吳淞口附近以羅店爲中心的陣地，阻止日軍從海上登陸，打破日軍從川沙登陸經羅店直趨嘉定，並切斷京滬線的企圖，成爲整個戰局的關鍵。日軍發揮海陸空協同作戰的優勢，向羅店發動多次猛攻，均被51師官兵擊退。王耀武巧妙地運用夜戰，派出部隊強襲，先後擊斃日軍聯隊隊長竹田和炮兵聯隊隊長莫森，受到總部通報表揚。戰後將51師與58師合編成立74軍，以俞濟時爲軍長，之後74軍成爲國民黨抗日勁旅，王耀武成爲74軍的一員主將。
1938年7月，武漢會戰的前奏萬家嶺戰役，日本人試圖逼近武漢，把106師團送進了包圍圈。但是日本人的戰鬥力和裝備都強於中國軍隊，因此爲了解救這個106師團，避免它成爲第一個在中國戰場被全殲的師團，日本人也下了血本。反擊的時候，74軍負責主攻。第一天攻擊，就讓日本人傷亡慘重，殘部死守張古山。這個山山勢很險，中國軍隊屢攻不下。俞濟時告訴王耀武：“張古山我不管了！反正兩天後，我要上張古山向薛嶽（戰役指揮官）報告戰況！”旅長張靈甫提議從絕壁上去，並且成功奪取了張古山主陣地。這一戰，日本人承認的106師團死傷就有3000人以上。74軍一舉成名。此戰後，王耀武成爲74軍副軍長，依然兼任51師師長。1939年6月，蔣介石親自召見這位黃埔三期的名將，提升他爲74軍軍長（俞濟時升任第10集團軍副總司令）。
1941年春，王耀武率部參加了著名的江西上高會戰。上高縣城爲贛北重鎮，日軍侵佔武漢後，贛北成了江南防線的第一線。日軍企圖摧毀贛江、撫河兩條流域間的中國軍隊，制定了“鄱陽掃蕩計劃”，他們以兩個師團與一個混成旅團約5萬餘人的兵力侵犯上高縣城。上高會戰至4月9日結束，歷時25天。此役中國軍隊斃傷日軍少將指揮官巖永、大佐聯隊長濱田以下數千人，軍馬2800餘匹，擊落飛機一架，俘虜日軍百餘人，繳獲山炮、追擊炮10門及步槍千餘支。上高會戰是一次頗爲成功的殲滅戰，何應欽稱之爲抗戰以來“最精彩之戰”，此役以74軍戰績最爲卓著，戰後，74軍被授軍中最高獎品——飛虎旗，王耀武本人亦受軍隊最高勳章。
1943年4月參加鄂西會戰，會戰結束後，王耀武升任第29集團軍副總司令，仍兼74軍軍長。同年11月，日軍糾集7個師團約10萬人進攻常德，王耀武率74軍參加常德會戰。他率主力在常德東北地區與敵激戰，常德被日軍陸、空軍及坦克優勢火力猛攻16天，全城夷爲平地。堅守常德城的部隊是74軍57師，師長餘程萬。8000人只有100人生還，餘皆戰死。王耀武率51師反擊，在友軍的配合下，經過6天激戰，終於收復了常德城。這一戰深得蔣介石的讚賞，稱讚王耀武善於帶兵，有指揮才能。戰後蔣介石在南嶽召見他，備加獎勵。1944年2月，蔣介石提升王耀武爲24集團軍總司令，下轄第73、74、79、100軍4個軍10萬人。
一年之後，第24集團軍改編成第4方面軍。王耀武以一個黃埔三期的淺資榮登第4方面軍司令官寶座，與盧漢、張發奎、湯恩伯等老將平起平坐，其破格越升之速，在軍界殊爲罕見，令同輩望塵莫及。在第4方面軍任上，王耀武指揮了對日的最後一戰——芷江戰役。此時王耀武率18軍、73軍、74軍、100軍及湖南省吳奇偉所率保安部隊共約30萬兵力迎擊敵人，王耀武部則以逸待勞，給敵人以迎頭痛擊，初戰即獲勝利，打死打傷日軍5000餘人。戰役歷時近兩月，日軍多次進攻均被擊退，後來中國軍隊從防禦轉入進攻，日軍狼奔豕突，潰不成軍。戰役結束後，計傷斃敵28174人，俘敵軍官17人，士兵230人，戰馬347匹，火炮24門，機槍100挺，步槍1300餘支，其他戰利品20餘噸，湘西會戰雪峯山戰役的勝利是王耀武的得意之作。正是這一戰役的成功，不久他被選爲國民黨中央執行委員，這是一般黃埔同學望塵莫及的。當時他年僅40歲。1945年9月初，王耀武作爲長衡地區受降長官，接過了日本第20軍指揮官阪西一良中將呈上的指揮刀。這是王耀武最輝煌的時候，他的74軍被譽爲“抗日鐵軍”。
