隋朝亡在了隋煬帝手裏，而隋文帝和隋煬帝交替之際的史料多有混亂。有一種說法就是，隋文帝臨死前發現隋煬帝、時爲太子的楊廣非正人君子，堅決要換太子。
這件事的真實性非常值得懷疑。首先，改立太子是件大事，草率從事的皇帝不多。從歷史上看，還沒有哪個皇帝在生命垂危時改立太子的。其次，楊廣從開皇二十年(600年)被立爲太子以來已經四年多，可謂羽翼豐滿，而且隋文帝來仁壽宮之前，就已經把國事全盤託付給了太子，太子已經是攝行皇帝職權的準皇帝了，此時換太子風險極高，弄不好會引起譁變，危及政權。再次，更換太子需要極複雜的運作，而隋文帝的生命已經進入到了倒計時，幾乎沒有運作的時間和精力。最後，更換太子的一個重要前提是，太子一定要有十分重大的錯誤，而且替代者要相對優秀，可當時這兩個條件都不存在。
對於這件事，《隋書·楊素傳》如此記載：“時皇太子入居大寶殿，慮上有不諱，須豫防擬，乃手自爲書，封出問素。素錄出事狀以報太子。宮人誤送上所，上覽而大恚。所寵陳貴人又言太子無禮。上遂發怒，欲召庶人勇。”
這裏面提到的兩條理由，尤其是後一條，在很大程度上是靠不住的。姑且不管其真實性如何，即便是真的，其嚴重性也不足以到廢太子的程度。對於第一條，臨近國喪，加強防備，理所應當，所以，“知天命”的文帝不應該生什麼氣。而對於第二條，多年以來，太子給隋文帝的一向是儒雅正派的形象，怎麼可能因陳貴人的一面之詞就對其懷疑?即便楊廣真的失德，同前太子楊勇相比，也是小巫見大巫。
當年楊廣能取楊勇而代之，就算是僞裝出來的，也不能否認，他的表現確實可圈可點，並得到隋文帝、皇后和衆多朝臣的認可。如果現在要返回去立楊勇，那麼楊勇一定要相對優秀。但在隋文帝眼裏，楊勇花天酒地、奢侈享樂，這種印象是不可能在瞬間改變的。也就是說，楊勇在品質上並不比楊廣好到哪裏去，而楊廣再糟也不會比楊勇糟到哪裏去。
隋文帝曾說，知子莫若父。即便當時身邊真的有人煽動，已經死到臨頭的他也不可能去“悔棋”，用一個頑劣浪子代替另一個頑劣浪子。之所以有廢立太子這樣的說法，是因爲隋煬帝失了江山，人們同情隋朝罷了。
