天長年間(812~834)以前の創建と伝えられ、寺跡からは6世紀の鉄製品や延暦年間の木簡が出土している。
一時は廃寺となり、約400年後、後嵯峨天皇の御世(鎌倉時代)に京都東福寺の開山圓爾が郡村(現在の崇恩寺の西北の地)に一寺を再建し、宝林山正蔵寺と号し、律法及び禅戒を唱導した。
その後、後奈良天皇の天文9年(1540年)地元豪族の石田宗伯が仏門に帰依し、南都西大寺の興正菩薩の威風を慕い草庵(崇恩寺)を結び、戒行の円満を期し併せて報恩崇祖の誠を尽くした。だが、天正9年織田信長の伊賀侵攻で両寺は焼失、徳川初期に旧地に両寺共に復興(両寺共に真言律宗)。
明治初年正蔵寺は、崇恩寺と合併し石田山正蔵院崇恩寺となる。現在の本堂は昭和8年に再建され、昭和58年には、木津川の拡幅により、観音堂を移転し、行者堂に合祀。祀られている板碑は、元享元年(鎌倉時代)のもので、同じ銘文のもが、慈尊寺(第63番)にあり、同じ人物による奉納である。
平成14年に大師堂を新築。お大師さまとともに、元禄7年(1694年)造立の高さ5尺、巾2尺5寸の大位牌をお祀りしている。