公孫述如此優柔寡斷，加上在蜀地任人唯親，使得他失去了和劉秀爭天下的最後機會。
待到隗囂暴亡之後，劉秀命令漢軍再次對隴右用兵，最終徹底消滅了隗囂割據勢力。其間，公孫述派出去的援軍也損失甚重，敗軍敗將逃回，使得蜀中大震。
隴右隗氏政權的覆滅，頓使公孫述所在的益州也失去了北部屏障。
建武十一年，光武帝劉秀命大將岑彭和來歙分別從南、北兩個方向大舉伐蜀。從此，公孫述政權的運祚，也只好按天來計算了。
對於漢軍的進攻，公孫述不是沒有準備。早在建武九年，他已經命令翼江王田戎、大司徒任滿、南郡太守程泛等率領數萬兵馬沿江乘竹排下江關(今四川奉節東)。蜀軍氣盛，當時還擊破劉秀手下威虜將軍馮俊等部漢軍，並攻克巫縣及夷陵、夷道(今湖北宜都)。
蜀軍當時佔據荊門、虎牙要地(這裏的荊門、虎牙，皆爲山峯之名。荊門山在南，虎牙山在北，江水從中流過。其地，大概在今天湖北宜昌東南)，並橫江大起浮橋、樓觀，在水中豎立木樁以絕水道，同時，蜀軍在陸路也跨山結營，想方設法抵抗漢軍的進攻。
由於荊門山防線堅固而險，公孫述西蜀南部地區一直大有屏障可依恃。漢將岑彭曾多次試圖奪回荊門，一直沒有成功。
既然如今皇帝命令漢軍大舉伐蜀，大將岑彭立功心切。他總結了以往的教訓，準備大小各種戰船數千艘，先對蜀軍施以火攻，燒燬了蜀軍設在荊門一線的幾乎所有浮橋和樓觀，使得蜀軍大亂，當時溺死者數千人。
蜀軍諸軍潰逃。發覺大勢不妙，蜀將王政就斬殺了大司徒任滿，率領手下投奔了漢軍;蜀將田戎自知不敵，退保江州。
至此，劉秀親自給公孫述寫信，陳言禍福，表示說，只要公孫述投降，必定保以富貴。
看完劉秀來信之後，公孫述大聲嘆息，把劉秀來信遞給平時所親近的心腹常少和張隆看。這二人對當時蜀國的情況心知肚明，都力勸公孫述早降爲妙。
思忖久之，公孫述慨嘆道：“廢興，命也。豈有降天子哉!”
於是，其左右莫敢復言投降之事。
岑彭率領漢將追擊至江州，見城高池深，一時難以攻取，就轉攻平曲，結果取得大勝，繳獲蜀軍糧食數十萬石，使得漢軍補給一時間得到了保障。
公孫述着急，馬上命令自己弟弟公孫恢、大將延岑、以及隗囂手下投奔過來的王元率領重兵據守廣漢及資中，同時，他還派遣侯丹率兩萬餘人據守黃石(今四川涪陵東北)。
漢軍統帥岑彭審時度勢，定下計謀。他多張疑兵，先派臧宮等人率領漢軍從涪水上平曲，牽制延岑等蜀將;然後，他自己率領一支人馬，順江而下奔還江州，然後，再溯都江而上，忽然攻襲蜀將侯丹的軍隊。由於敵軍無備，一舉破之。
得勝後，岑彭西向，晨夜倍道兼行二千餘里，一鼓作氣攻拔武陽。然後，他派遣精騎進馳廣都，一下子就抵達距離成都數十里的地方。
想想公孫述先前下令延岑等率蜀軍主力屯於廣漢，目的就是爲了堵截岑彭的南路漢軍。如今，岑彭大部漢軍竟繞出延岑軍後，一舉逼近了自己的都城成都，公孫述大爲震駭，他以杖擊地，哀嘆道：“是何神也!”
交戰期間，爲了延緩漢軍攻勢，公孫述及其屬下還接連幹了兩件下三濫的事情，就是先後刺殺漢軍統帥來歙和岑彭。二人雖死，漢軍依舊勢盛。
沒多久，漢軍南路軍臧宮率領率五萬漢軍大敗延岑，一戰下來，蜀軍被斬首加溺死者數萬人，江水爲之變色。
勢如破竹，臧宮大軍進抵綿竹，咄咄逼人。
事情發展到如此地步，綿竹肯定守不住了，於是，早先從隴右隗囂處歸奔公孫述的大將王元，不得已舉城而降。
由於岑彭被刺殺，劉秀就派遣大司馬吳漢接替岑彭，擔任南路漢軍統帥。吳漢思攻心切，很快在魚涪津(今四川樂山)擊敗蜀將魏黨和公孫永，兵圍武陽;公孫述女婿史興率五千兵馬來助，也被吳漢所破。接着，乘勝憑銳，吳漢率領漢軍攻佔武陽。
