在晉王楊廣的推動之下，獨孤皇后和宰相楊素結成了反太子聯盟，對太子楊勇展開內外夾擊，促使隋文帝產生了廢掉太子、改立晉王的想法。不過廢立太子是國之大事，還得徵得宰相的贊同。而當隋文帝拿這件事去問老宰相高熲的時候，高熲卻一口否決了。那麼高熲爲什麼要反對?高熲的反對會給他帶來什麼後果呢?
高熲是非比尋常的，是重要的輔政大臣，他的否決就難辦。二十年，沒一件事，高熲與隋文帝不是同心同德的。在太子問題上，高熲爲什麼一定反對呢?人們往往想到一樁公案。說他曾與楊廣因張麗華髮生矛盾。平陳戰爭時，楊廣是名義上的統帥。後來佔領建康城時，高熲做善後工作時，處理戰犯時，張麗華是高居榜首的。她本是首席戰犯，高熲準備實施死刑時，接到楊廣快，想留她下來。高熲答覆說，“武王滅殷，戮妲己，今平陳國，不宜取麗華”。不能這樣。高熲不給楊廣面子，楊廣放出話來，今後一定報復你的。結下了仇恨了。楊廣當太子太皇帝，高熲就不會有好下場，所以高堅決反對這事，歷史都是這樣記載，我個人覺得不可靠。三個理由：一是楊廣有遠大理想，致力於營造不近女色的形象，才贏得父母的欣賞。這樣的理想與道德自律，怎麼會在戰爭時刻去護她呢。二是張麗華兒子當時十五歲，而這時楊廣只二十來歲，年齡上不太可能。三是，南方的一些史書，都明確記載，晉王廣命斬貴妃。這一點上與高熲不矛盾。所以，這個內容不可靠。那爲什麼高熲要反對呢?公的方面，有經驗的政治家，他深知廢長立幼會引起政治鬥爭，這在歷史上有教訓。私的上，他與楊勇是兒女親家。太子倒臺，他的身份也會難立足。也不宜反對楊勇。兩方面原因，讓他堅決維護。
要說在隋文帝的朝廷裏，高熲絕對是一位重量級人物。多年來隋文帝對他極爲倚重，讚揚備至。因此高熲對太子楊勇來說是一個很重要的保護傘。有了高熲的支持，太子的位置就會安全一些。但問題是，高熲這把保護傘會不會永遠撐下去呢?
高熲自己是自身難保了。因爲他得罪了一個人，獨孤皇后，他們不是不錯嗎?先前好，是因爲他出自獨孤信門下，高熲一肯不棄故主，贏得了獨孤皇后的信任。但是，她強悍，一旦她不喜歡高熲時，殺傷力也比任何人大。這時，她恰恰與高熲翻臉了。一件事是因爲她懷疑他瞧不起她。隋文帝到晚年，出錯了，嚴重的生活錯誤。修了仁壽宮，避暑，心態不錯，心情好，看美人也不一般了，看中了氣度不凡的宮女。一問，是尉遲迥的孫女。這可是隋文帝稱帝最大的障礙。當時三總和反叛，爲首的就是他。後來，被殺，她才被沒入宮，這一節讓他涌起了一股豪情，一比才知道。年輕宮女，獨孤皇后哪裏比得上呀?他忘了誓言與獨孤皇后的厲害了。但是獨孤皇后一直盯着，馬上她知道了，裝不知道。照樣一起上朝，回來就幹掉了小宮女。心中窩火。一個宮女都保護不了，皇帝多窩囊呀。絕對沒有廢掉皇后的勇氣。不能影響政治大局。怎麼辦?離家出走，“單騎從苑中出，不由徑路，入山谷間二十餘里。”大臣們着急了，趕緊追吧，高熲與楊素去追。追到，叩馬苦諫。隋文帝長嘆，“吾貴爲天子，不得自由”。高熲勸他了，“陛下豈以一婦人，而輕天下?”這是找臺階下。犯不着拋棄天下。隋文帝就還是回去了。獨孤皇后也陪了不是，本來這事過去了。幾天後，獨孤皇后打聽到這個細節，高熲不過是家臣，怎麼這樣輕視我呢?怎麼說我不過是一個婦道人家呢?從此不滿了。多冤了，和事佬的這話，得罪了一個人。這樣的皇后，得罪一次就夠受了，沒想到還有一次。
不久，高熲就得罪了一位大人物，她就是獨孤皇后。獨孤皇后是一位堅強的政治女性，在隋朝影響力極大。而高熲在無意之中兩次違揹她的意志，就等於給自己樹立了一個最強大的敵人。對於冷酷而又心胸狹隘的獨孤皇后而言，此時的高熲已經不是朋友，而是障礙。那麼獨孤皇后會怎樣除掉這個障礙呢?
這是因爲高熲的妾生了兒子。獨孤皇后跟皇帝說，“高僕射老矣，而喪夫人，陛下何能不爲之娶?”說高熲是個沒人照應的人，讓陛下給他娶一個妾，這是美意，沒想到高熲拒絕了。“臣今已老，退朝，唯齋居讀佛而已，雖陛下垂哀之深，至於納室，非臣所願。”這話合乎她的心意，加分了。沒想到沒多久，重大轉折出來了，報來了喜訊了，生了兒子。獨孤皇后怒了。她恪守的是一夫一妻制，高熲居然讓妾生了兒子，居然這樣道德敗壞，印象更壞了。高熲支持楊勇，當然獨孤皇后覺得他不行了。必欲除之而後快。她就挑撥再挑撥。三次挑撥。一是挑他不忠誠，她拿愛妾生子來說事：“陛下尚覆信高熲邪?始，陛下欲爲熲娶，熲心存愛妾，面欺陛下，今其詐已見，安得信之?”
這樣心口不一的人，怎麼還能再信?隋文帝最在乎的是臣子的忠誠，不能容忍的是心口不一，高熲的事不大，但是可能反映出他的心口不一呀。大事會不會也騙?他就心存疑慮了。信任就打折了。第二次挑撥，是挑撥工作不賣力。當時高勾麗興兵犯境，隋文帝任命漢王諒與高熲去鎮壓。道路遙遠，中間有水路阻隔，運兵運糧不易，高熲建議不要輕易打。隋文帝不聽。高熲只好去了，果然運輸不便，無功而返。戰爭輸了。客觀上應該是隋文帝決策失誤，不去打，獨孤皇后說，“熲初不欲行，陛下強遣之，妾固知其無功矣。”他本不想去，去時，我就知道仗打不贏，把隋文帝的戰爭責任轉給了高熲。印象更壞了。第三次挑撥高熲驕橫。戰場上，漢王自以爲是，高熲是老臣，經驗豐富，哪能輕易聽他的，不大搭理他，不聽楊諒的意見。說明他忠心，不是討好小王子。楊諒覺得沒把自己放在眼裏。楊諒回來，就說差點被高熲宰掉。獨孤皇后又報給了隋文帝，對楊諒蠻橫。這下子，又挑動了隋文帝的敏感神經。他覺得這是居功自傲，是想當權臣的呀。他不想別人重走自己的路。隋文帝的印象也徹底巔覆了。隋文帝也就必欲除之而後快。
在獨孤皇后的挑撥下，高熲的形象在隋文帝心中大打折扣。但是高熲畢竟是朝中重臣，多年的宰相，要把他拿下去，總得有一個能說服人的理由，隋文帝會以什麼理由拿下高熲呢?
最好的就是謀反了，王世積被仇家告發，說他在涼州時說過這是不是用武之地呀?舉報了他的言行，其實不靠譜。不大能夠治罪的。可是，他是高熲推薦的，要求調查，好好調查一下。司法部門把王世積打承認了。跟高熲有聯絡，都是高熲告訴我的。隋文帝假裝大怒，一定要繼續查，查的結果當然對高熲不利。果然過從甚密。還送過名馬，可以結案了。受賄，王世積被判死刑，立即執行。高熲就地免職，退休回家。二十年的老宰相就這樣幹到頭了。
事情到這一步，可以結束嗎?隋文帝覺得不夠，官職免了，但是爵位在，這是最高等級的，對朝廷還有影響力，要拿掉，第二步計劃來了。苦肉計，沒幾天，隋文帝去楊俊家中，兒子當然要招待，隋文帝叫叫來高熲侍宴，高熲難免流淚。這時，隋文帝說，過去待高熲跟對兒子一樣，甚至更好，心裏也老想着，罷官後，我就徹底忘了，到好像他從來不存在過一樣，所以，當大臣的不能自持有功，要挾君主呀。這是表態，我是徹底拋棄他了。他是萬劫不復了。下邊的人就知道怎麼辦了，就有人告他了，聲稱高熲的兒子跟父親說“司馬仲達初託疾不朝，遂有天下，公今遇此，焉知非福?”篡奪天下，建立西晉，說他想像司馬父子想奪天下，好接着當皇帝。隋文帝趕緊立案，調查，高熲的罪行就多了，說有和尚跟他交往，說明年有國喪。說他整天巴不得皇帝早死，他想建立新朝，這是謀反，免除爵位，徹底沒有了影響力。
這是隋開皇末年的大事，對朝政產生重大影響：一是失去一個有能力有見識有節操的頂樑柱。這是隋最有才幹的人，“楊素粗疏，蘇威怯懦，元胄元旻正似鴨耳，可以付社稷者，唯獨高熲。”當時評論如此。二是讓太子失去了有力的庇護人。
