開創は天正４年（1576）。開山の大翁全碩は長江寺第六世で、小笠原氏の出自という。元は、仙岩寺山の西側にある谷「材木谷」に寺はあった。資料には、永禄二年の兵火で殿堂は灰燼に帰し、永禄十一年に再建したという。仙岩寺山には山城があり、おそらくは小笠原氏に関する戦であろう。段丘をなし、かつて二十戸くらいの聚楽があったそうだが、昭和のはじめまでに人家散逸した。その跡は今でもあるという。
現在の位置に移転した年代は不明。
山内には愛宕社が祀ってあり、小笠原長隆が永正元年（1504）京都の愛宕大権現から勧請したもので、ご神体の勝軍地蔵は二十五年に一度開くものだという。このことからも、小笠原氏の祈願所ではなかったかと『川本町誌』は推測している。事実、弘治二年、小笠原長徳は五十貫文を寄進している。
天領時代の寺領は六石（元禄五年）。末寺として、玉泉寺（美郷町地頭所）、長源寺（邑南町布施）、盛椿寺（邑南町高原）がある。
