Following its founding, the temple gradually fell into decay but was restored in 1874 when the Kongoo-in sub-temple of Daigo-ji Temple was relocated to the site.
創建されて以後寺は次第に衰退したが、1874年（明治8年）醍醐寺の塔頭である金剛王院が移されて復興された。