楊堅年老，禁不起每日牀笫聲色，不久染病在牀。他病重時讓楊廣等人進宮侍奉，臨死時的楊堅終於看清了這個兒子的真面目，但也晚了。604年7月，他因爲病重，臥於長安仁壽宮大寶殿內，楊廣認爲登上皇位的時機已到，於是迫不及待地寫信給楊素，請教怎樣處理將要到來的文帝后事。不料送信人誤將楊素的回信送給了文帝。文帝讀後大怒，此時，宣華夫人衣衫不整地跑進來，哭訴楊廣乘她換衣時無恥地調戲她，使文帝更醒悟到受了楊廣的矇騙，拍着牀子大罵：“這個畜生如此無禮，怎能擔當治國的大任，皇后誤了我的大事。”急忙命在旁的大臣柳述、元巖草擬詔書，廢黜楊廣，重立楊勇爲太子。
楊廣聽說了，趕忙將侍奉楊堅的人全部換掉，與大臣楊素、張衡、宇文述等人乘機發動宮廷政變，帶兵包圍仁壽宮，趕散宮人，逮捕了柳述、元巖，右庶子張衡懷藏利刃，深入文帝駕前，一舉結果了文帝楊堅。楊堅享年六十四歲。
楊堅的諡號是文皇帝，所以後世稱他隋文帝，廟號是高祖。
楊堅創下的隋朝基業並沒有堅持多久，隋朝很快就被歷史上最荒淫無道的隋煬帝楊廣揮霍掉了。隋朝從建立到滅亡有三十七年，但從589年滅陳開始算，僅僅二十九年。古代三十年算一世，隋朝這一世有兩個皇帝在位，不過，還是比秦朝要長一些。
中國歷史有兩個循環很相似：第一個，亂世的春秋戰國、短命的秦、長治久安的漢。第二個，亂世的三國兩晉南北朝，短命的隋，長治久安的唐。
