石堂城は天台宗寺院である石堂寺の背後の山に築かれました。石堂寺は寺伝によれば、神亀3年(726年)創建といい、行基の開山と伝わります。その後、火災で焼失したため、大永2年(1522年)に丸氏の援助で現在の地に再建されたといいます。その際に、丸山平野から奥に入った谷の山嶺上という城郭要素を併せ持った地に、寺と一体を成すように石堂城が築かれたと思われます。石堂寺の本堂を取り囲む尾根上には、堀切や土橋などの城郭遺構が残り、平場や櫓台のような痕跡も見て取れます。丸氏の居城である丸城が指呼の距離にあることからも、丸氏やその主筋である里見氏の城として機能していたと考えられます。戦国末期には足利頼氏が石堂寺で養育されました。小弓公方足利義明の孫にあたる頼氏は、足利の命脈を繋ぎ、喜連川藩祖となった人物です。足利氏が没落した後、豊臣秀吉が名門足利氏の功績を偲び喜連川(栃木県さくら市)の地を与えたことから、「喜連川」を名乗りました。足利の血を引き継ぐ頼氏が入った寺であることからも、石堂寺、そして石堂城の重要性が浮かび上がります。