林靈素真人還鄉是因爲“妄議遷都”而觸帝怒，遂貶爲太虛大夫，斥還溫州，明嘉靖《永嘉縣誌》載：“(林靈素)因大水臨城，上疏言，國難將至，請遷都避之。”這話終於給死對頭蔡京抓住了把柄，於是就組織滿朝言官彈劾妖言惑聽。豈不知這正是林靈素真人以預料到之後的靖康之亂，而暗示徽宗遷都已做準備，林靈素真人明知遷都會爲自己招來禍患，但絲毫不在意自己的榮辱，依舊勸諫徽宗遷都，並直白的說出了“切忌丙午、丁未，甲兵長驅，血腥萬里，天眷兩宮，不能保守”之語，並引《推背圖》中所言“兩朝天子笑欣欣，引領羣臣渡孟津。拱手自然難進退，欲去不去愁殺人”的句子來加以佐證。可惜徽宗未能領悟，後來果然如林靈素真人所言，最終徽欽二帝被擄，徽宗最後身死五國城。據《東都事略》記載說林靈素在真人臨走之時，將歷年皇帝所賜之物，共三百擔，一一按照千字文的順序封箱編號，交回宮中，只帶了一個道童，拿着自己的衣被回鄉。絲毫不貪戀一銖之財。
最終跟着林靈素回鄉的還有一位親傳弟子名叫張如晦，在京城時就一直跟隨林靈素學道修習，當林靈素真人臨終之時，傳法脈與他，並將六印九符等物也一起傳於張，並囑咐張說：“今則別去，他時神霄再會。”說完命張取來紙筆寫下一詩：“四十五歲勞生，浮名滿世崢嶸。只記神霄舊路，中秋月上三更。”接着親自上香一柱，空中突然一聲霹靂，林靈素真人即坐化而去。
