乍一看“榮祿與慈禧太后的關”，大部分人的反應，肯定都是這兩人不就是主子與奴才的關係嗎?等聯想到民間傳說中，那些有關慈禧太后的香豔情事，大家可能會猜測這兩人難道也有私情?
實際上說慈禧太后的各種淫亂情事，大部分見於野史和民間傳說。雖然不可考證其中真實性，但至少反應了一點，那就是慈禧太后在老百姓心中的厭惡程度。清王朝的太后與外男有私，各種纏綿糾葛，在民間廣爲流傳，並不是源於慈禧。事實上，早在大清初年，孝莊太后的各種愛情故事就被百姓廣爲傳播了。比如孝莊夜探牢獄，用美色招降明末著名將領洪承疇。又或者是與多爾袞之間纏綿悱惻的愛情故事，這些故事都極具浪漫色彩。可是到了慈禧太后這兒，可沒有孝莊那般浪漫了，用一個詞語來說，那就是“淫蕩”。與孝莊有這方面關係的，大多數都是提不上臺面的市井小人，比如說戲子，比如是古董商，又或者是飯館裏的夥計。後來隨着慈禧地位的提高，與她有私情的男人，地位纔有所上升。這些男人中，就有榮祿。
最先提到慈禧與榮祿有關係的，是德齡公主。
德齡公主不是真的公主，是慈禧晚年比較寵信的一個宮廷女官。她用英文寫了一本小說體回憶錄《愛戀紫禁城》，中文名叫《慈禧御苑外史》。在這本書裏，她將慈禧與榮祿的關係解讀成戀人關係，而且榮祿還是慈禧的初戀情人。
《慈禧御苑外史》節選：
“‘榮祿’她喃喃地喊着他的名字，‘我又來了!’”這是寫兩人幽會。
“從這時候開始，蘭兒對榮祿的戀情表示了冷淡，而榮祿對她的愛卻是與日俱增。她疏遠他，而她將自己關進那蘊藏着無窮野心的夢室裏的時候，他更是瘋狂地愛她。”這兒是寫慈禧入宮之後，見證了宮中的繁華，對於權力有了極大的渴望，因此便放棄了這段戀情。然而慈禧的冷淡，並沒有澆息榮祿火熱的內心，反而越發瘋狂。
“在熱河，一個忠誠的步軍統領經過仔細考慮後，擅自離開了自己的崗位，在愛情與責任之間徘徊了一陣後，他放棄了責任。”這兒是寫榮祿察覺肅順要加害慈禧，不顧違背規矩，決定去救慈禧。
這種描寫，以及這種故事情節，像不像是西方常見的貴婦與窮小子之間的愛情故事。實際上這位“公主”寫這本書，就是寫給西方人看的，並不可信。
野史不可信，但我們卻不能否認慈禧對於榮祿的看重，以及榮祿對慈禧的忠心。慈禧掌權後榮祿一路高歌，到晚年集軍政大權於一身，權傾朝野。而在辛酉政變期間，手握重權的肅順想除掉慈禧，是榮祿帶着親兵趕來護駕，保得慈禧母子平安回宮。
榮祿是一個一個政治智慧比較高的人，年輕時得罪權貴而被派往大西北使得他養成了謹小慎微的習慣。政治上敏銳的洞察力使得他成爲後黨的中堅力量。
同樣他也不是頑固的守舊派，他雖然一手導致了維新變法的失敗，但實際上他只是不認同康梁一黨，使用的維新辦法。
榮祿致湖北補用道連捷：“邇來朝政日新，聖主虛衷採納，仰見孜孜求治之懷。”
榮祿致林旭：“朝廷孜孜求治，破格用人，誠爲非常遭際。”
榮祿致陳澤霖：“目前時局日新。”
這些都可以看見榮祿對於維新的態度，可以知道他是一個眼光極爲長遠的人。
