弘安元年、真言宗の寺院として開創されたが、文明年間一時中絶した。天正2年再興し、その後慶長16年、曹洞宗のお寺として形を整え、塩尻西福寺第三世陽巖慶繁大和尚を勧請して開山となし、代々名僧が法を承け継ぎ、明治7年には常恒会という最高の寺格を許されるに至り、郡下にその名を誇った。当寺は安政6年小野宿の大火にあい、堂宇を消失した。再興して、明治維新にいたり、神仏分離令によって弥彦神社別当であった矢彦山神光寺が廃寺となり、堂宇と本尊大日如来像脇本尊薬師如来像等を当寺へ移して規模は大きくなった。大正15年飛び火による大火に見舞われて総ての堂宇を消失した。こうした再興の大火に梵鐘や寺宝はほとんど失い、再興の願いは大戦によってその期を得ず、戦後順次整えられて今日では本堂、大庫院、客殿、位牌堂、鐘楼、山門その他の建造物が、整備され、住年の偉容には及ばないが、一応の再興が叶った。また寺名に｢祭｣の付く祭林寺は日本で唯一との事。
