1938年2月，日本最精銳的部隊之一阪垣第五師團主力阪本支隊及僞軍劉桂堂部約兩萬人，自膠濟線南犯諸城、沂水、莒縣，直撲臨沂。第五戰區長官司令李宗仁電令駐守東海、連雲港一帶的第三軍團龐炳勳部，火速趕到臨沂堅守。
臨沂系魯南重鎮，是各公路的交叉點。南通新安鎮(今新沂)至徐海，西南通臺兒莊、棗莊，西北通費縣、泗水、蒙陰、新泰，東北通莒縣、諸城。臨沂的戰略位置關係到隴海、津浦兩路的安危，也是徐州的一個重要屏障。日軍以阪垣師團猛攻臨沂，正是爲了策應磯谷師團進攻臺兒莊。
龐部時有5個團，13000餘人，到臨沂後，其兵力佈防爲：軍部及第三十九師師部駐城南關的三鄉師校園內;第一一五旅駐城東之相公莊;第一一六旅駐城北諸葛城;補充團于軍部附近;騎師於相公莊以東地區。面對敵寇的進攻，全體官兵無不義憤填膺，誓滅日寇。但由於日軍不斷向臨沂方面增加兵力，龐炳勳部的戰況十分危急，23日，莒縣失守。3月2日，日軍逼近距臨沂僅60華里的湯頭。3日，龐炳勳部在由青島撤退的海軍陸戰隊沈鴻烈部的協同下，與敵“苦戰經周，損失頗巨”，被迫放棄湯頭。湯頭失守，其以南地區情勢驟緊，臨沂城亦覺脣亡齒寒。龐炳勳部一面抵抗，一面急電求援。3月10日，日軍約八九千人，騎兵四五百人，在戰車20餘輛、裝甲車60餘輛、飛機10餘架、炮30餘門的強大火力掩護下，開始向臨沂猛攻。臨沂前線，連電告急。第五戰區在烈焰燃眉之際，急電令第五十九軍張自忠部增援臨沂。同時，爲了協調龐炳勳部與第五十九軍作戰，特派第五戰區長官司令部參謀長徐祖詒赴臨沂前線督戰指導。當時張自忠部正在滕縣向濟寧、兗州一線的敵人進攻，接到命令後，當即以急行軍速度星夜兼程，於12日到達臨沂北郊的沂河西岸。抵達後，龐炳勳即要求第五十九軍接替城防。張自忠則認爲與其消極防禦，不如以攻爲守，擊敵側背，以解臨沂之圍。結果張自忠的建議被採納。3月13日子夜，第五十九軍運動到劉家湖、崖頭、石家屯一線後，強渡沂河。14日拂曉，張自忠指揮部隊向日寇發起攻擊。劉振三第一八○師由諸葛城、大小姜莊渡沂河向徐家太平、大太平附近日軍進攻，在亭子頭遭到一股日軍的頑強抵抗;黃維綱第三十八師由朱家棚、船流渡沂河攻佔張家莊、解家莊、白塔。由於日軍600餘人在飛機、大炮、坦克的掩護下拼命反擊，該師被迫退回沂河西岸。同時，沂河東岸的龐炳勳部第四十軍第三十九師亦從正面開始反攻，並向青墩寺、尤家莊一帶進攻，於14日晚佔領東西旺莊、東西沙莊。15日早晨，龐炳勳部繼續前行，佔領了鄭寨子、黃家屯、東西沈莊、柳杭頭，同時派騎兵從右翼迂迴董家官莊、溝頭一線。同一天，第一八○師攻克亭子頭，日軍向東、西水湖崖撤退，第三十八師再渡沂河，佔領沙嶺。16日，日軍增加一個旅團4000多人，從湯坊崖西渡河向沂河西岸的張自忠部的陣地猛烈攻擊，敵機10餘架也輪番轟炸，第三十八師傷亡較重，但官兵仍然守住了陣地。當日夜10時至17日凌晨，日軍全力攻擊崖頭、劉家湖、茶葉山陣地，經密集炮火摧毀後，日軍佔領了這三處陣地。張自忠急令兩個旅增援，奮力抵抗，肉搏多次，終於將丟失的陣地全部奪回，日軍大部被殲。同日，龐炳勳部也發動強大攻勢，激戰一晝夜，先後佔領尤家莊、傅家屯、東西水湖崖、沙河一帶，日軍退守李家五湖、傅家池、草坡一線。到18日早晨，龐、張兩軍一齊從東、南、西三面夾擊湯頭、傅家池、草坡一線的敵人，經3天血戰，臨沂方面的敵人約3個聯隊被完全殲滅，殘敵大部逃向莒縣，一部向北撤退。此戰，張、龐兩軍共殲敵4000餘人，其中第五十九軍殲敵3000餘人。有資料說，日軍用載重汽車運回莒縣的屍體達100余車，在湯頭、葛溝屢次焚化的屍體、來不及運回就地掩埋者達七八百具。中國軍隊也爲爭取勝利付出了慘重的代價。日寇不甘心在臨沂戰役中的失敗，於3月23日，復派增援部隊4000餘人，會同莒縣、湯頭的殘敵，又向龐軍陣地展開反攻。24日，敵機到龐軍陣地大施轟炸，9門敵炮晝夜不停地掃射。由於第五十九軍張自忠部傷亡太大，除留一個旅的兵力協助龐炳勳部守衛臨沂外，主力已於19日離開臨沂轉向費縣休整，準備向泗水、滕縣方面轉進。在敵人強大兵力的攻擊下，龐軍力戰不支，被迫退至城東桃園、黃山一帶防守，臨沂形勢又趨危急。爲確保臨沂，解圍龐軍，張自忠部於25日重返臨沂增援，在韋家屯、桃園等地與敵寇進行激戰，並東渡沂河，佔領了桃園。3月26日，日軍1000餘人，在十幾門大炮的掩護下，繞道轉至臨沂西馮義堂一帶，伺機環攻取城。張軍急派重兵在城西娘娘廟至大嶺一線佈防，以阻止敵人的進犯。但是攻擊三官廟的張軍一部分，因損失極大，停止了進攻。日軍藉機佔領了營子、乾沂莊、沙埠莊等村莊。而此時的龐炳勳部因兵力損失過大，已失去戰鬥力，雖強守九曲店、小李家莊、沭埠嶺、黃山一線，但河東的陣地已很難支撐，臨沂處在危急之中。
3月27日，日軍一部從早上7時開始，向古城南沙埠莊及小嶺、北道發起攻擊，另一部則從蒙陰南下，襲擊臨沂西南的朱陳鎮。28日，敵寇又增加1000餘人，炮十二三門，配合飛機對臨沂城內輪番轟炸。龐軍以第三十九師第一一六旅副旅長崔玉海率劉富生第二三一團會同張裏元部保安團守城，其餘的撤退到城南一帶，軍部也隨之轉移到九曲至黃山一線;第五十九軍張自忠部則在七德、前後七裏屯、前後崗頭一帶修築陣地，與敵人展開血戰，擊斃敵寇百餘人。至3月29日，在日軍的猛烈攻擊下，臨沂已處於危急之中。第五戰區派駐在海州的第五十七軍繆澄流部王肇治旅赴臨沂增援。該部隊於29日早晨到達東高都，當晚7時向臨沂西北的十里鋪前行，並向大、小嶺方向出擊。湯恩伯部騎兵團也趕來增援，並於午後抵達城西的鬍子峪，向義堂以北的地區發起進攻。敵寇傷亡千餘人，被迫向湯頭退卻。晚上10點左右，第五十九軍再次出擊，重創敵寇，迫敵向北退卻。王肇治旅沿沂河，湯恩伯部騎兵團向艾山、義堂一帶追擊，發動全面的反攻。同日晚，由於臨沂久攻不下，臺兒莊方面又陷於苦戰，日軍遂轉移進攻方向，命令在臨沂的日軍停止進攻，抽出阪本旅團主力兩個步兵聯隊和一個野炮兵聯隊星夜兼程南下，趕赴臺兒莊進行支援，僅留一個聯隊步兵和少數炮兵在臨沂與張、龐兩軍對峙。至此，第五十九軍的傷亡也已達萬餘人。4月21日，由於臺兒莊戰役吃緊，張、龐兩軍相繼撤離，臨沂遂被日軍佔領。
