創建年代は不詳。寺伝には阿野郡南陶村にあったとあるが檀家の関係から見て大川郡にあったとも考えられている。
慶長8年（1603年）、檀家で高松藩家老・三野四郎左衛門の支援もあって大本寺の東に移転したが、享保2年に現在地へ移った。
現在地にはもともと養通寺と称名院があったが、どちらも宝永年間に五番丁へ移り、跡地は慈恩寺と大本寺へ渡った。だがどちらも寺から離れており不便だとして、元の地と引き換えて現在地に移った。
戦前には真言宗大覚寺派であったが、昭和16年（1941年）3月に真言宗各派が合同して大真言宗となって戦後に再度分かれたとき、高野山真言宗に所属することとした。
