1814年的1月24日是羅馬王最後見到拿破崙，拿破崙將皇儲抱到杜伊勒裏宮的庭院中對老近衛軍說，他將爲兒子的皇位而戰，然而3月反法同盟兵臨巴黎城下，塔列朗暗中策劃波旁王朝復辟，於是遊說巴黎總督，也就是西班牙國王約瑟夫，讓他勸說攝政的皇后瑪麗·路易絲逃離巴黎。拿破崙寫信給約瑟夫說：“如果塔列朗勸說你們離開巴黎，那一定是陰謀。”
可惜一切已經晚了。
3歲的羅馬王被抱離巴黎時他尖聲嚷道：“不要去朗布依埃!”“爸爸不在，我就是這裏的主人!”
4月4日拿破崙就宣佈退位羅馬王成爲拿破崙二世，而兩日後，4月6日拿破崙就宣佈他本人及其子嗣放棄法蘭西帝位。
根據《楓丹白露條約》羅馬王被封爲：帕爾馬親王，但波拿巴分子仍然稱他爲羅馬王或者拿破崙二世。
4月23日拿破崙二世被送往外祖父的國家奧地利從此再也沒有返回法國。
1815年拿破崙捲土重來，已進入巴黎拿破崙就給歐洲各國君王寫信，他承諾不在謀求歐洲霸主的地位，只希望將皇位傳之子孫，並寫信給奧地利的妻子瑪麗·路易絲，希望她帶着兒子回答自己身邊。
但是瑪麗·路易絲早已經有了情夫，在拿破崙登陸之後她在各國君主對拿破崙的判決書上簽字，這道判決書宣佈拿破崙爲不受法律保護之人。
4年前瑪麗·路易絲難產，醫生問拿破崙是保大人，還是保孩子的時候。拿破崙說保大人。現在，瑪麗·路易絲的對拿破崙的報答已經到來了。
