弘法大師が荻野富士の山頂付近の岩に経文を記した石を納めたことがことが起源とされている。寺院はその山のふもとにあって華厳山乗碩寺と言った。その後、興廃を繰り返したが、徳川家康は当寺を訪れた際、寺の由来を聞いて感じ、松平と経石をからめて松平家が石のように堅固に栄えるようにと短歌を読んだ。その後この寺を松石寺と改称。幾千代もかはらて松の栄えかし みのりの石のいはほならべて(家康)
当初は真言宗で、華厳山乗磧寺と号し、その後は林徳院と改号したこともあった。1475年宗派を曹洞宗に改宗し、寺号も旧に復した。1591年に華厳山松石寺と改めた。