抗戰期間，蔣介石去成都，在楊森家裏逗留半日，他發現楊森家裏進進出出的婦女不少，深感驚訝，便問楊森：“這些都是你的妻子嗎?”楊森朗聲回答：“報告委員長，屬下身體很好!”蔣介石大笑。
楊森主持四川政務時，連農民進城挑糞也要抽稅。西南聯大師劉師亮特作一聯諷刺說：“自古未聞糞有稅，而今只有屁無捐。”橫批是：“民國萬稅(歲)”。四川軍閥楊森斂財手段五花八門，通過投資地產、開辦公司、販賣煙土等賺錢。他在英、美和日本的銀行都有鉅額存款。重慶、漢口、上海等地有豪華的公館，富得冒油。這些錢財正是他玩弄異性、滿足淫樂的資本。
楊森，字子惠，原名淑澤，又名伯堅，他一生追求洋氣和新潮，同時，還是民間祕密組織袍哥會的一名舵主。
楊森在國民黨軍閥中，以妻妾成羣，兒女衆多而出名，他公開的妻妾有12位，子女共有43人。
楊森的第一夫人是其髮妻張氏，這是典型的父母之命，媒妁之言。成婚之初，倆人感情甚篤，張氏孝順體貼公公婆婆，善待小叔小姑，又能勤儉持家，在楊家內外口碑甚好。後來，楊森考入成都陸軍速成學堂後，張氏暴病身亡。
1908年，楊森從軍校畢業後，遵從父母意願，續絃廣安老家的譚正德填房。譚氏爲其育有長子、長女。楊森妻妾成羣后，譚氏被冷落，獨自守着廣安老家偌大的宅院，孤影清燈，以92歲高齡謝世。
張靈鳳，臺灣新竹人。楊森年近90歲時，以招募祕書爲幌子，將這位17歲的中學生弄進府中，完成了他人生的最後一次姻緣。
面對如雲的妻妾，成羣的子女，爲了杜絕妻妾爭寵，楊森採用平衡原則，與衆多妻子睡覺的時間安排，楊森採取所謂的“輪宿制”，而且，爲了不至於發生錯亂引起紛爭，他特派一名副官專門安排時間表，一切按表操作。
有一次，楊森在湖南督戰，當天正輪到與留在成都的夫人同宿，這位副官跑來請示當天可不可“輪空”，等回成都後再補上。楊森考慮再三，爲了不亂套，特別報告戰區司令官薛嶽，派出專機飛往成都把他的那位夫人接過來，睡一晚然後返回成都。一旦妻妾懷孕，即憑醫生證明領取五千元生活費，倘使順利產下子女，則可領取存於國外銀行的補助費兩萬元。同時，還可以爲子女領取一份豐厚的田產。
楊森自己隨心所欲、放蕩不羈，而對妻妾卻管束甚嚴。爲了維持家庭秩序，他治家如整軍，採用軍事化管理，分工明確，各有專司，無一賦閒，每人每月還領薪水若干。稍有觸犯，便會遭到楊森無情的鞭笞。對於這些，楊森頗爲自得，他多次向其他軍閥介紹經驗，大言不慚地說：“我實行的是軍事化管理，不然那屋子人，咋個鎮得住嘛。”
在衆多的軍閥中，楊森經歷了辛亥革命、護國戰爭、軍閥混戰，抗日戰爭等歷史時期，最後逃到了臺灣，以九十六歲高齡壽終正寢。
