初入軍旅
1928年加入蘇聯共產黨。1919年參加蘇軍。畢業於騎兵學校(1926)、伏龍芝軍事學院(1936)和總參軍事學院(1941)。參加國內戰爭時，爲騎兵第1集團軍第11師列兵。騎兵學校畢業後，在莫斯科軍區獨立騎兵第1旅任排長、連長。1938年10月任白俄羅斯特別軍區特別騎兵師參謀長。1939年9月參加了西白俄羅斯解放進軍。
英勇騎兵
衛國戰爭初期，格列奇科在總參謀部工作。1941年7月，根據本人請求調往西南方面軍，任獨立騎兵第34師師長。該師在普里盧基市地區組建後，於8月上半月在基輔以南投入同德軍的戰鬥，至1942年1月先後在第26、第38和第6集團軍編成內，參加了第聶伯河左岸烏克蘭地區的作戰。1942年1月18日任騎兵第5軍軍長，參加了巴爾文科沃—洛佐瓦亞戰役，粉碎了巴爾文科沃守敵，繳獲了大批戰利品，其中包括汽車261輛、軍用物資160車皮。1942年3月12日起任戰役軍隊集羣司令，在南方面軍編成內同頓巴斯地區的優勢之敵進行頑強作戰。
集團軍司令
1942年4月15日起任第12集團軍司令，擔負伏羅希洛夫格勒方向的防禦任務。後該集團軍積極參加了哈爾科夫戰役。南方戰線總崩潰後，1942年9月任第47集團軍司令，參加高加索會戰，該集團軍且戰且退，遲滯了敵軍通過新羅西斯克沿黑海沿岸向外高加索的推進，使敵人未能很快據有新羅西斯克港口。1942年10月19日調任第18集團軍司令，該集團軍遏止了敵人的進攻，並於11月以部分兵力成功地實施了殲滅企圖翻越高加索主山脈的敵塞馬施集團的戰役。
1943年1月外高加索方面軍轉入總攻後，1月5日起格列奇科任第56集團軍司令，指揮該集團軍在黑海軍隊集羣地帶內擔任主要突擊，經過激烈戰鬥，突破敵軍堅固防禦，前出至克拉斯諾達爾接近地。2—4月，第56集團軍在北高加索方面軍編成內，參加克拉斯諾達爾戰役。9月，第56集團軍在新羅西斯克—塔曼戰役中，同第9集團軍和第18集團軍協同，解放了塔曼半島。粉碎庫班河流域的德國法西斯軍隊之後，10月16日被任命爲沃羅涅日方面軍(10月20日改爲烏克蘭第1方面軍)副司令，參加解放烏克蘭首都基輔的作戰。
1943年12月15日格列奇科調任近衛第1集團軍司令，任此職直至戰爭結束。12月24日，該集團軍編入方面軍主要軍隊集團，轉入進攻，解放了日托米爾，並在日托米爾—別爾季切夫戰役中向前推進了180公里。爾後，近衛第1集團軍參加了1944年普羅斯庫羅夫—切爾諾維策戰役，在卡緬涅茨—波多利斯克市地域合圍了敵坦克第1集團軍。但德國這個坦克集團軍卻出人意料的拋棄了所有重裝備翻山逃掉了。1944年近衛第1集團軍在利沃夫—桑多梅日戰役中，連戰皆捷，和兄弟部隊一起摧毀了德國北烏克蘭集團軍羣。1944年8月5日，該集團軍編入烏克蘭第4方面軍。1944年9—11月，參加東喀爾巴阡戰役，同基里爾·謝苗諾維奇·莫斯卡連科的第38集團軍和第18集團軍一起越過東喀爾巴阡山脈，從德軍手中全部解放了烏克蘭外喀爾巴阡地區，並進抵捷克斯洛伐克境內。1945年1月，在西喀爾巴阡戰役中，近衛第1集團軍從北面繞過塔特拉山，通過波蘭南部地區向捷克斯洛伐克的摩拉瓦—俄斯特拉發工業區突進。在俄斯特拉發戰役中，突破敵軍堅固的防禦地區，於4月30日同第38集團軍一道解放了大工業中心摩拉瓦—俄斯特拉發市。繼而從捷克斯洛伐克東部邊境一直打到布拉格，於1945年5月又參加了粉碎德軍的布拉格戰役。衛國戰爭時期，格列奇科指揮歷次戰役，一向作戰意圖大膽，且爲實施其意圖堅定不移。
功成名就
戰後，1945—1953年任基輔軍區司令。1953年任蘇軍駐德軍隊集羣總司令。1957年11月任蘇聯國防部第一副部長、陸軍總司令。1960年任蘇聯國防部第一副部長兼華沙條約締約國聯合武裝部隊總司令。因爲和勃烈日涅夫在戰爭時期結下的友誼(他當集團軍司令的時候，勃烈日涅夫是政治部主任).。1967年4月接替馬利諾夫斯基任蘇聯國防部部長，在中蘇邊界武裝衝突中，當他得知阿穆爾河邊防支隊被中國人伏擊，死傷數十人的消息後，破口大罵，極力主張對中國進行所謂的“外科手術式核打擊”，摧毀羅布泊的核基地。甚至曾經一度說服總書記勃列日涅夫，若非以蘇斯洛夫和柯西金爲首的主和派力阻，併爲和平到北京去會見中國領導人的話。中蘇兩國就打起來了。任此職期間，爲進一步加強蘇聯防禦能力做了大量工作。多次當選爲黨的代表大會代表。1952—1961年爲蘇共中央候補委員，1961年起爲蘇共中央委員，1973年4月起爲中央政治局委員。蘇聯第二屆和第四—九屆最高蘇維埃代表。他特別重視軍事科學工作，曾任多卷本《第二次世界大戰史(1939—1945)》和《蘇聯軍事百科全書》總編委員會主任委員。
捷克斯洛伐克社會主義共和國英雄(1969)。獲列寧勳章6枚，紅旗勳章3枚，一級蘇沃洛夫勳章2枚，一級庫圖佐夫勳章2枚，一級波格丹·赫梅利尼茨基勳章2枚，二級蘇沃洛夫勳章1枚，獎章及外國勳章多枚，榮譽武器1件。葬於紅場克里姆林宮牆下。海軍學院以其名字命名。
