劉弗陵在孤獨和沉寂中度過了幾年，最終於前74年因抑鬱而離世，年僅二十歲，沒有留下後嗣。爲了保持自己的權力，霍光決定立一個可操控的皇帝。在大臣的建議下，霍光選擇了漢武帝之孫劉髆的兒子劉賀。
於是，霍光派人迎接劉賀入宮，然而僅過了二十七天，霍光就廢黜了他，這究竟是爲什麼呢?
根據史書記載，劉賀在短短二十七天內做了一千多件壞事，因此被霍光廢黜。然而，一些學者指出，這種說法缺乏邏輯，因爲沒有人能在如此短的時間內做那麼多壞事。真正廢黜劉賀的原因是他試圖推翻霍光，結果惹怒了霍光。
無論如何，從廢黜皇帝這件事來看，霍光的權力已經達到了極大的程度。爲了廢除劉賀，他甚至動用了上官皇后(當時是太后)的名義發佈詔書。
在廢黜劉賀後，霍光意識到必須選取一個年幼的皇帝才能更好地控制局勢，於是開始尋找合適的人選。這時，漢武帝太子劉據的孫子劉病已出現在霍光的視野中。
從血緣關係上看，劉據這支宗族與霍氏家族有一定的關聯，霍光對劉病已比較親近，但這並不是他選擇劉病已的主要原因。霍光之所以選擇劉病已，主要是因爲他的親信部下張安世、邴吉、杜延年等人的推薦，他們認爲劉病已非常適合。於是，劉病已被立爲皇帝，改名劉詢，即漢宣帝。而霍光則成爲唯一的輔政大臣，繼續鞏固自己的權力。
然而，劉病已並非平凡之人，他對霍光心存不滿，只是聰明地隱藏起來，等待時機。那時，霍光已年事已高，劉病已相信他的壽命不會太久，一旦他去世，自己就有機會將霍氏家族連根拔起。前68年，也就是劉詢繼位六年後，霍光果然因病去世。劉病已立即展開反擊，將霍氏家族明正言順地剝奪權力，並以謀反的罪名將其一網打盡。
從此，皇權再次回到漢朝皇帝手中，劉詢也開啓了自己波瀾壯闊的一生。
