張廷玉出身於書香門第官宦名家，他的父親張英是康熙時期大學士，是清代著名大臣。張廷玉二十九歲高中進士，並被點爲翰林。三十三歲那年，被康熙看中，認爲他持重得體，成爲康熙皇帝貼身低等小祕書。四十五歲時升爲禮部侍郎。
康熙去世，雍正登基，見他“氣度端凝，應對明晰。”迅速升他爲禮部尚書。雍正是中國歷史上有名難伺候的皇帝，對科舉出身的漢族大臣尤其缺乏好感，而對他卻一見如故欣賞至極。不論大事小情都要和他商量，凡有諭旨均由他繕寫。雍正與他君臣相得十三年，君臣感情至好，甚至一天也不能相離。雍正五年五月，張廷玉生了一段時間病，雍正說：我連日臂痛，大學士張廷玉患病，此人如朕手臂。”此事傳開爲一時佳話。
雍正末年，張廷玉回家省親，皇帝寫信給他說：“朕即位十一年來，朝廷之上近親大臣中，只和你一天也沒有分離過。我和你義固君臣，情同密友。如今相隔月餘，未免每每思念。”(以上皆見《張廷玉年譜》)深情義重之態，形於辭色。雍正爲表達對張廷玉的欣賞特別立下遺囑，張廷玉在身後配享太廟。這是一項極高的政治榮譽，整個清朝二百餘年，他是唯一享受到這個待遇的漢人。
乾隆十四年，張廷玉一直想着死後能入太廟和乾隆對着幹，敢和當今皇上較勁這不是吃飽了就是腦子當機了。乾隆以張廷玉年逾古稀爲由，準他不必早朝，遇天熱，或颳風下雨，可以不必入內，他的內閣首輔位置由訥親取而代之。張廷玉明晰皇上此舉的真正意圖，於是立即上疏請求辭去兼管吏部事務的職務，要求回鄉，這次乾隆準了。張廷玉奉請入朝謝恩，派了自己的兒子去當前鋒。
本來就有意見的乾隆這下可好，怒火中燒，乾隆很惱怒：“張廷玉就在京城，即使病得很重，就是爬着來，也該來謝恩。爲自己要賞賜時能親自上朝，可是謝恩時就不能親自來了，這樣對待朝廷給他的莫大恩惠，好像這都是他應該得到的，天下有這樣的道理嗎?”收了張廷玉的伯爵位置，後來又罷免了官職取消了入太廟的資格，張廷玉死後，乾隆做足樣子還是讓張廷玉入了太廟。
