旧神饌幣帛料供進神社。伝承によると、元暦2年（1185）屋島の戦いに敗れた平家の一族は、安徳天皇を奉じて祖谷に逃れ石立山（のちの剣山）に立てこもり、兵馬の訓練をしていたが壇ノ浦の戦いに平家全滅の悲報に天皇御佩（みはかし）の神剣を石立山の頂に納め、山を降りて栗枝渡の地に移り住んだ。数年のち安徳天皇が崩御され、悲しんだ村人が御遺体を御火葬しこの地に納骨した。その後社を建てたのが八幡神社の始まりと伝わる。また、当社に鳥居が無いのは、安徳の御陵があるため鳥居を建ててはならないという掟を守ってきたためと言われる。
