當了短短兩個月的皇帝，李顯便被廢黜，先後被軟禁在均州(今湖北省丹江口市)、房州(今湖北省房縣)長達十四年之久。
在這十四年軟禁生涯中，李顯的身邊只有妃子韋氏相伴，兩人相依爲命，艱難度日。這個韋氏在李顯當太子的時候被立爲太子妃，中宗即位的次年，加封皇后。在李顯被廢黜軟禁期間，韋氏始終與他患難與共，爲他排憂解煩，經常鼓勵他想開一點，人生總是禍福相依，否極泰來，要耐心等待命運的轉機。對此，李顯非常感動，曾經對韋氏許諾：“有朝一日我要能重登皇位，一定幫你實現一切願望。”
沒想到，他真的等到了這一天，在經歷了無數擔驚受怕的夜晚之後，李顯又迎來了新的黎明。按照以往的皇位繼承製度，一般都是嫡長子繼承皇位，以保證皇位始終在一家一姓中傳遞。但是武則天是特例，如果讓兒子即位，雖然是一家，卻不是一姓。
如果讓侄兒即位，雖然是一姓，卻不是一家。
面對這個棘手的問題，素來果斷的武則天一時也拿不定主意。
在調查了大臣的意向之後，加上契丹、突厥先後打出匡復李唐的旗號反周，武家子弟又不堪大任，武則天還是決心將已經被廢爲廬陵王的李顯立爲太子，準備還天下給李氏。
