雖然趙匡胤當上了皇帝，但如何使國家長治久安，避免成爲五代之後的第六個短命王朝;如何將地方的權力集中到中央，避免重蹈唐朝末年藩鎮割據的覆轍，一直是他深思的問題。
宰相趙普屢次進諫，請宋太祖撤去石守信等人的禁軍職務，宋太祖總是不答應。趙普抓住機會再次進諫，宋太祖有點不耐煩地說：“他們一定不會背叛我的，你擔心什麼?”趙普答道：“我也不擔心他們會背叛您。但是我看這些人，都沒有統領軍隊的才能，恐怕不能制服他們的屬下。一旦如此，萬一軍隊裏有人煽動，那他們到時候也就自己做不了主了。”
宋太祖突然意識到了這一點。他不會忘記，自己是如何取得皇位的。如今，掌管禁軍的雖然都是自己的親信，對自己忠心耿耿，但人心難測。爲了鞏固自己的地位，爲了讓子孫後世長久地統治這個國家，他採取了一個爲後人所津津樂道的辦法。
建隆二年(961)秋天的一個晚上，宋太祖置辦了酒席，請石守信、王審琦等人前來飲酒。酒過三巡，宋太祖屏退左右，對大家說：“要不是你們大家，我做不了皇帝，時時刻刻都感念你們的德義。但是做天子也非常難，還不如做一個節度使快樂。我從即位到現在，從來沒睡過一個安穩覺。”
石守信等人大驚失色，忙問：“陛下爲什麼這麼說呢?”
宋太祖說：“這還不好猜嗎?誰不想要我這個位子啊?”
石守信等人一聽話頭不對，趕緊起身拜倒在地上，戰戰兢兢地問：“陛下何出此言?現在天下已定，誰敢有二心呢?”
宋太祖說：“不一定。即使你們沒有二心，可是你們的部下如果有人想要富貴，有朝一日把黃袍披到你們身上，你們即使不想做天子，還由得了自己嗎?”
石守信等人拼命磕頭，痛哭流涕地說：“我們太愚笨了，沒想到這一步，只求陛下可憐我們，指給我們一條生路。”
宋太祖才惺惺作態道：“人生苦短，如白駒過隙，不如富貴一場，多攢下些金錢，也爲子孫後代積蓄些財產。你們爲什麼不交出兵權，去邊鎮做個節度使，買下幾處好田宅，爲子孫置一番基業。再多買幾名歌姬舞女，每天飲酒作樂，頤養天年。我和你們結爲親家，君臣之間沒有猜疑，上下相安，這樣不是很好嗎?”
石守信等人都拜謝道：“陛下這麼惦念我們，就如同骨肉一般啊!”
第二天，石守信、王審琦等人紛紛上書稱病，請求辭去禁軍職務。宋太祖大喜，厚厚地賞賜他們，免去了他們擔任的禁軍職務，讓他們去外地擔任節度使。只有石守信仍兼任侍衛都指揮使，但兵權已被收回。
這就是歷史上着名的“杯酒釋兵權”。後來，宋太祖果然兌現諾言，將兩個女兒分別嫁給石守信和王審琦的兒子，而太祖的弟弟趙光美則娶了張令鐸的女兒，用來安撫諸將。
在經過一系列的罷免兵權和政治聯姻之後，宋太祖已經牢牢地將兵權掌握在自己手中。可以說五代十國時期的諸藩鎮擁兵自重，“兵權所在，則隨以興，兵權所去，則隨以亡”的時代終結了。
