在日本，天狗是一種極兇猛又極受人敬畏的神化動物。關於柳生十兵衛的獨眼，據說是小時候和父親練劍時，因爲劍勢過於凌厲，是宗矩不由自主使出全力所傷，幸虧柳生新陰流在練習時使用竹刀，而不致使一代劍豪夭折。 然而，他晚年留有的肖像畫，雙眼卻正常得很。十兵衛13歲時當上德川家光的隨身家僮，曾任家光的劍術老師，20歲時誤觸逆鱗，回到奈良「柳生之裏」老家，專心研究兵法，寫出了《月之抄》等兵書，更把本派劍術傳授給從全國各地慕名而來的門徒。32歲時，家光原諒了他，讓他回到身邊當親信護衛。
柳生宗矩的長子就是在日本歷史上富有傳奇色彩的“獨眼”劍豪柳生十兵衛三嚴(柳生十兵衞三厳、Yagyū Jūbei Mitsuyoshi，1607年-1650年4月21日))，據說其劍術之強已超過祖父石舟齋和父親宗矩。宗矩去世後，由其繼承家位，領俸八千三百石。
有關柳生十兵衛的傳奇故事數不勝數，其中有些是以歷史真實事件和柳生家的記載著述的，有些則是江戶時期或現代小說家們以某段歷史爲依託憑空杜撰的，除去現在已經可以確定的真實情況和作家虛構的情節，但圍繞柳生十兵衛這個人的生平經歷正史野史兩派一直爭論不清，例如，在人們心目中的柳生十兵衛的形象一直是“獨眼”，這是爲什麼呢?其實，在日本至今保存的柳生十兵衛畫像上，他的兩隻眼睛都是正常的，沒有哪一隻有殘疾，真不知道到底是民間傳說有誤呢，還是當年的畫師應柳生家要求而故意避諱掩飾的?
民間傳說在柳生十兵衛二十歲時，將軍家光一心以爲自己已得柳生宗矩的真傳，竟身穿夜行衣溜出禁宮，想碰到個把武士比試一下，結果恰好碰上了正在夜巡的十兵衛，十兵衛見此人行止鬼祟，便上前盤問，動手只一招就將其擊翻在地，還補上一腳將其踹到了旁邊的河溝裏，等拿開蒙面的頭巾方知是將軍家光，家光顏面大丟，但也不好給十兵衛定罪，所以罰誤觸逆鱗的十兵衛回奈良老家“柳生莊園”閉門思過，在十兵衛三十二歲時家光原諒了他，重召他回到身邊任職。
而史學家一般認同的說法是：十兵衛十三歲時成爲家光的隨身侍童，但後來不肯如父親一般去迎合家光的心意，所以二十歲時被謫居小原田，無論是什麼原因，總之柳生十兵衛曾被黜在家似乎是正野二史不爭的事實，可是歷史上關於他在這段時間的記載，正史和野史又有分歧了，比如，在其被黜的十二年間，史書記載十兵衛在家鑽研兵法及收授門徒，其間還著就兵書“月之抄”(一說爲“月見傳”)等，稗官野史說真相是德川家光恐各藩暗懷異志，假意處罰十兵衛，實則是暗命其周遊全國察看各藩動向，爲幕府執行祕密任務。對此，現代史學界一直持正統態度，認爲民間傳說不足採信。但隨着一些史料重見天日，確實有不少線索指明柳生十兵衛其實自離開江戶後就行蹤成迷。究竟柳生十兵衛在那段時間在哪兒?他又在做什麼?看來兩種不同的說法都不應該偏聽偏信，還是留待日後的學者們去慢慢考證吧。
慶安三年(1650年)三月二十一日，在山城國相樂郡北大河原邑弓淵(京都附相樂郡通山城)正在放鷹遊獵的柳生十兵衛忽發疾病暴斃，時年四十四歲。關於他的死，到底是正常死亡，還是另有“原因”，一直衆說紛紜，有人說肯定是急病發作，比如說心肌梗死，否則像柳生十兵衛那樣的身手又有誰能暗算得了他?但也有人說肯定是被暗殺的，理由是正因爲他常年習武練劍，身體應該比常人健康，又正值壯年，怎麼突然暴斃呢?不管怎樣，看來這是柳生十兵衛留下的最後一個迷了，同時也是他爲後世的小說家們提供的最後的寫作素材。
