《資治通鑑》把楊綸被貶的原因認定爲隋煬帝“恩薄，多所猜忌”所致。楊綸的被貶內在原因，要從其父親與後周、楊隋的紛紜矛盾講起。楊綸乃是隋膝穆王楊瓚之子。楊瓚是隋文帝楊堅的弟弟。楊瓚、楊堅的父親楊忠，在後周因軍功封竟陵郡公，又娶北周武帝宇文邕妹順陽公主爲妻，後來升爲侍中。楊瓚生來就儀表堂堂，又有這樣好的身世，很快也像其父親一樣娶了公主，與王室再次聯姻。又雅愛書學，結交名士，在當時有非常好的名聲，都叫他楊三郎。武帝宇文邕不僅親愛之，而且信任他的忠誠和能力，外出征戰，曾經把後方全部託付於他。武帝死後，混帳皇帝宇文贇繼位，是爲宣帝。宣帝頑劣淫亂，很快駕崩。宣帝岳父楊堅趁國亂主幼之機，遂有奪北周江山的野心。然而楊家與宇文家世代婚姻，其中恩怨瓜葛太深。楊堅總想拉攏楊瓚，助其成就帝業。但楊瓚不想辜負宇文邕的親愛之義對北周頗忠心。本來就與楊堅關係不和諧的楊瓚對兄弟篡逆，既不以爲然又憂心忡忡，說：“作隋國公恐不能保，何乃更爲族滅事邪?”並多次有抑制甚至剷除楊堅的意思。即使如此，楊堅還是優容善待兄弟楊瓚，受禪後，立楊瓚爲滕王，後拜雍州牧，多次讓他與自己同坐，並親切的稱之爲阿三。這固然有想靠楊瓚的名聲收攏人心的企圖，但也顯示了楊堅性格在中國古代皇帝中算比較溫和寬厚的一面。但楊瓚曾經的不合作，終歸要被清算的。
被清算的第一步是從瓚妃宇文氏開始的。先前不惟楊氏兄弟不能黽勉同心，妯娌之間的矛盾更深。楊堅夫人，何許人也?乃周大司馬獨孤信的女兒。就連隋文帝亦奈何不得她。楊堅履至尊，她就成了獨孤皇后。宇文氏鬱郁不得志，背後常常咒詛皇后。在獨孤皇后泰山壓卵的情勢下，楊瓚包庇妻子不成，宇文氏竟遭除屬籍，自己也在開皇十一年從幸慄園，暴薨。當時社會上就都說人是遇鴆以斃的。但他家族的悲慘命運自此只是開始。
上輩怨結
深遭猜忌貶珠崖
楊瓚暴斃後，楊綸襲嗣滕穆王爵。楊綸字斌籀，天性寬宏仁厚，父母都有儀貌，他也姿容偉麗，而且懂音樂。高祖受禪時就被封爲邵國公，邑八千戶。第二年又拜邵州刺史，處世公道爲樑人擁戴。但因上輩兄弟妯娌違和，在文帝時就深懷恐懼。文帝的簡樸寬厚的性格，在煬帝身上剛好顛倒過來一樣，忌刻淫亂、好大喜功。即位後，楊綸兄弟就深遭猜忌。楊綸憂懼不知所爲，就只好向天祈禱，招一些江湖術士如王琛輩問命運。王琛輩胡說什麼藤王就能飛黃騰達、相祿不凡。這不僅不能紓難，反而結禍，給疑忌構陷者以口實，有人告綸怨望咒詛。隋煬帝立即命黃門侍郎王弘窮治之盤根查底。王宏領會皇帝的旨意，奏綸厭蠱惡逆，坐當死。因爲楊綸乃王公系列，享受“八議”待遇，不能隨便交司法機關。公卿們不僅沒有減免處罰，反而形成更嚴厲的判罰。司徒楊素等說：“綸希冀國災，以爲身幸。原其懷惡之由，積自家世。惟皇運之始，四海同心，在於孔懷，彌須協力。其先乃離阻大謀，棄同即異，父悖於前，子逆於後，非直覬覦朝廷，便是圖危社稷。爲惡有狀，其罪莫大，刑茲無赦，抑有舊章，請依前律。”這其實就是公審文告。造釁開頭還是上輩子的怨結，即所謂“父悖於前，子逆於後”。
公元605年秋天，楊綸由邵國公除名爲民，貶謫到始安(今桂林)。楊綸兄弟也全部流徙邊郡。大業七年(611年)，隋煬帝親征遼東，楊綸本想上表請命，不僅不獲信任，反而不久被安置到更遠的珠崖。
隋末，天下大亂，大業十二年(616年)鄱陽起義首領操師乞自稱“元興王”，建元始興，攻陷豫章郡(今南昌)，以其鄉人林士弘爲大將軍。師乞中流矢死後，士弘自稱皇帝，國號楚，四方豪傑響應依附，地盤北自九江，南及番禺。十三年漢陽太守馮盎以蒼梧、高涼、珠崖、番禺之地附林士弘。楊綸被林士弘所逼舉家流竄於儋耳，後歸大唐，封爲懷化縣公，不久即死了。這個海南島上的第一個貶官的身世遭遇，好像就昭示了此後瓊崖近千年流貶史主要的特徵：帝王忌刻寡恩，貶官位高身顯。事蹟見《正德瓊臺志·卷三十四·謫寓》、《隋書·列傳第九》、《北史·列傳第五十九》和《資治通鑑.卷一百八十》。
