柳生家は石舟斎宗厳(むねよし)、宗矩(むねのり)、十兵衛の3代にわたって徳川家の剣法の指南役を務めた。境内裏手には3代ほか柳生一族が眠る墓所がある。約80基。ずらりと並ぶ石塔に一族の積み重ねた歴史を感じる。市内唯一の大名家の墓所であり、1996年、奈良市の文化財に指定された。

　1594(文禄3)年、家康は石舟斎と手合わせをする。石舟斎68歳、家康53歳だったとされ、家康は石舟斎の剣の前に成すすべもなく3度ひっくり返されたという。家康はその場で指南役を要請したが、石舟斎は自身の老いを理由に固辞。再度の要請に、5番目の子、宗矩を指南役に決めたという。