在隋朝末期天下大亂之際，李淵發動兵變，房玄齡選擇加入李世民的隊伍，並擔任秦王府記室一職，爲李世民出謀劃策、處理文書。他的文思敏捷，每當行軍途中需要寫軍情奏章時，他可以在馬停留的短暫時間內完成。
隨着李世民的平定一地，其他人都在尋找古玩珍寶，而房玄齡卻着重於爲李世民發掘人才，比如他推薦了杜如晦、張亮、薛收、李大亮等人，這些人後來都成爲了朝廷要員，立下了重大的功勳。
房玄齡和杜如晦在歷史上被稱爲“房謀杜斷”，因爲房玄齡善於策劃，而杜如晦則擅長做出決斷，兩者相輔相成，成爲了絕佳的搭檔。公元626年，房玄齡、長孫無忌、杜如晦三人作爲玄武門之變的主要策劃者，幫助李世民奪取了帝位。李世民稱讚房玄齡“籌謀帷幄，定社稷之功”，並授予他國公爵位。
在李世民登基後，房玄齡擔任了中書令、尚書左僕射、司徒等要職，成爲朝廷中樞決策的主要參與者。他非常注重官員的治理，裁撤了冗官，提高了辦事效率，節省了財政開支。他還注重制度建設，汲取歷代經驗，制定了一系列完善的典章政令，廢除了隋朝的嚴刑酷法，改爲寬厚平和的方式處理政務和民情。他工作勤勉，常常日夜忙碌，非常看重人才，不分卑賤，被人們稱爲一代賢相。
