霍光肯定屬於親近所謂衛青、霍去病集團，但所謂衛霍集團其實是個僞命題。首先，在客觀上說，隨着衛青和霍去病的先後去世，所謂衛霍集團的中心人物更是已經消失;其次漢武帝一生權謀手段相當高超，即使衛青活着的時候，一直也不敢有任何越軌行爲，所謂衛霍集團只不過是在漢武帝控制下的有親戚關係的能臣集團;最後，霍光被武帝信任重用，並託孤是因爲他對霍光比較瞭解，認爲他能保證劉家的江山不會輕易丟掉。
網絡配圖
至於霍光廢劉賀而另立漢宣帝劉病已，主要是爲了維護自已手中掌控的朝政大權，劉賀被廢主要是因爲他操之過急，沒有妥善處理和霍光的關係，而劉病已的帝位之所以能立住，是因爲他懂得韜光養晦，懂得如何與霍光處理關係，霍光能讓劉病已立住帝位，也是因爲劉病已維持了霍光手中的朝政大權，這樣二人才維持到了最後，直至霍光病死。
網絡配圖
霍光作爲霍去病的兄弟，對於延續霍家的影響，一定發揮着積極作用，而對於衛青和衛子夫，估計霍光也是有一定情感的，因爲他們畢竟是他和哥哥獲得武帝重用重要因素。但是，霍光在政治上是理性的，他並沒有因爲自己成爲託孤大臣，而去刻意關注劉病已。
網絡配圖
所以，在他心中還是以武帝的託孤爲重的，並沒有謀劃廢昭帝，即使是昭帝不幸早死，他首先考慮的也是昌邑王劉賀，而劉賀的被廢應該是他沒有處理好與霍光的關係造成的，直到這時，霍光才選定戾太子劉據的孫子劉病已繼承了皇位。所以，霍光最後還是報答了衛子夫和衛青，也算是了了他內心深處的一個心願!
