明王朝建立前，劉伯溫還是塊寶，待到朱元璋屁股坐穩後，就轉眼間成了田間地頭的蒺藜草。
可是，劉伯溫功勞太大，本領太高，分量太重，無法一鋤頭將他剷除。不然，您“老先生”、“吾子房也”恭恭敬敬地剛剛喊過沒幾天，突然就翻臉不認人那不是太流氓了嗎?於是，朱元璋專門爲其量身汀做了溫水煮青蛙策略。
降低劉伯溫的威信洪武三年(公元1370年)，朱元璋大封功臣，封公封侯者多矣，而這個功不下張良的國師竟然排到了第36名，只封爲伯，年薪240石，而與其功勞不相上下，同爲核心，同被朱元璋視爲左右手的李善長卻被封爲韓國公，年薪4000石。職務上更是涇渭分明，李是一人之下萬人之上的百官之首的丞相，而劉是負責給百官挑毛病的御史臺的副長官。朝堂上一站，30多人都在你前邊，完全是一副有你不多沒你不少的架勢，就這一招，你的鋒頭就打下去半截，你還牛嗎?
爲劉伯溫製造敵人開國初年，朱元璋以多年知己的口氣異常誠懇地和劉伯溫品評幾個重臣。
朱元璋問：楊憲如何?
劉伯溫答：楊憲有相才，但無相器。
朱元璋又問：汪廣洋如何?
劉伯溫答：他的褊狹和淺薄比楊憲還不堪大用。
朱元璋又問：胡惟庸如何?
劉伯溫答：胡惟庸最爲糟糕，好比一匹劣馬，叫它駕車，必然會翻車壞事。
朱元璋這樣說道：我的相位只有先生能擔當了。
劉伯溫再次辭謝道：我這個人疾惡如仇，又受不了繁冗公務的勞累，真的幹上了，會有負皇上重託。天下大才有的是，您細心訪查定會得到的。不過，目前的這些人，一個都不合適。
這樣的對話句句都不露痕跡地傳到當事人的耳朵裏，所幸楊憲素來敬仰劉，而汪廣洋是個忠厚之人，二人都沒有挾嫌報復。由於二人不能充分領會領導意圖，因此很快就和相位拜拜，有的死得還很難看。而胡惟庸就不是這樣了，他把劉的話深深地記在了心裏，仇恨讓他一輩子也沒有放下。
撤銷劉伯溫的養老金劉伯溫是何等聰明的人，他豈能感覺不到朱元璋的心思，然而，儒家的理念和朱元璋的天威，使他只有在戰戰兢兢的心境中鞠躬盡瘁死而後已。
洪武三年，朱元璋親自召見劉伯溫，充滿關心和體貼對他說：“你年紀這麼老了，應該在家陪老婆孩子，何苦在這裏陪着我呢。”劉伯溫就這樣“光榮”地退休了。無官一身輕的他，偏偏輕不下來，處江湖之遠還要憂其君，他看到某個地方社會治安隱患不少，於是熱血了一把，上書朝廷，建議在這裏設置一個管理機構。這本是個發揮餘熱的報國之舉。應該大張旗鼓地表彰，可是在丞相胡惟庸的鼓動下，竟然有多名官員誣衊他有野心，想佔據有“王氣”的地方圖謀不軌。這個問題其實並不應該成爲問題，究竟事實如何，派員下去查一查不就完了嗎?可是朱元璋偏不這樣做，而是不問青紅皁白，下詔撤銷他的養老金。
明眼人一看便知，這只不過是個藉口，或者乾脆就是個捕風捉影甚至是無中生有的由頭。劉伯溫只得赴京請罪，可是朱元璋卻不給他辯白的機會。十分顯然，知道你是冤的，但就是不給你洗清，讓它永遠成爲懸在你頭上的達摩克利斯劍。
巨大的壓力和看不到盡頭的心靈折磨。60多歲的劉伯溫病倒了。他這一病，朱元璋的機會又來了。他指示丞相胡惟庸拿着藥去看望這個足智多謀的老人，萬一他是另一個韜晦裝病的司馬懿呢!結果，胡惟庸的藥太神奇了，劉伯溫喝下去後，一個拳頭大的石頭一樣硬的東西就橫亙在了胸口。不久，這個叱吒風雲的一代雄傑就駕鶴西去。
從此，朱元璋再也不用擔心這棵礙事的蒺藜草了。劉伯溫的清除，也預示着朱元璋大開殺戒的序幕就要拉開了。
