楊素同意楊約的想法，站到了楊廣一邊，幫助他做了皇太子。這以後，楊廣任命楊約做了左庶子，進位大將軍。
隋文帝臨終前對楊素有所疏遠，楊約也受到影響，離京做了伊州刺史。隋文帝死時，楊約正好在仁壽宮，楊廣派他帶人進宮，代替原有的守衛者，又讓他去把廢太子楊勇勒死，佈置重兵。
楊廣還有一個親信張衡，一直在他身邊做事，深得信任，楊廣的許多計謀全部出自於他。楊廣登基之後，張衡進位銀光青光祿大夫，轉爲御史大夫。
物極必反，張衡後來失寵，楊廣先是把他的官職全部奪盡，後來賜他在家裏自盡。臨死之時，張衡意味深長地說：“我幫別人做過何等可怕的事，怎麼還敢奢望繼續活在世上!”
負責監刑的官員害怕張衡說出什麼可怕的祕密，讓自己陷於難堪的境地，急忙把自己的兩隻耳朵牢牢塞住，讓手下趕快把張衡弄死。
關於隋文帝的死，人們一直疑惑重重。如果楊廣一夥人做過什麼罪惡勾當，張衡必定是重要的參與者，所以臨死之時他才說出這種話。
隋文帝病重時，只有楊素和兵部尚書柳述、黃門侍郎元巖等三個人在近前服侍。皇太子楊廣住在大寶殿，與楊素之間祕密通信，由宮人傳送，互通情況。有一次，傳信的宮人出了差錯，錯把他們的密信送到隋文帝這裏。隋文帝因此知道了他們私下的勾當，很生氣。
此時發生的另一件事，讓隋文帝徹底看清楚皇太子楊廣的真面目。當時，隋文帝寵愛的宣華夫人與楊廣一起在仁壽宮照顧隋文帝，楊廣趁機對她無禮，宣華夫人到隋文帝面前哭訴。隋文帝大怒：“這樣的畜生，我怎麼能把江山社稷交給他!皇后真是把我害了!”
隋文帝派人召來兵部尚書柳述、黃門侍郎元巖，吩咐他們：“快快把我兒召來!”
柳述和元巖馬上派人去找皇太子，隋文帝怒吼道：“我說的是楊勇!被我廢掉的皇太子!”
柳述和元巖馬上退出來準備敕書，楊素看到敕書的內容，立刻派人飛報皇太子楊廣。楊廣與楊素商量，不再顧忌，索性把東宮的衛兵調入宮中，由宇文述、郭衍帶隊，嚴守宮門。又派張衡進宮服侍隋文帝，把隋文帝身邊的侍者全部打發出去。當天，隋文帝不明不白地死去，死得疑點重重。
在發佈消息之前，楊廣先把柳述和元巖兩個人投入牢獄，免得他們泄露隋文帝臨死前的憤怒決定，然後以隋文帝的名義下令賜死廢太子楊勇。一切安排妥當，方纔公佈隋文帝的死訊。
仁壽四年七月，隋文帝死在仁壽宮。皇太子楊廣在仁壽宮繼位，是爲隋煬帝。
八月，隋煬帝護送隋文帝的靈柩返回長安。隨後，楊勇的大兒子楊儼被毒死，楊儼的弟弟們被流放到嶺南，並在當地被處死。
