However, the shrine was destroyed by fire along with the temple's main hall during the Hamaguri Rebellion of 1864 and the deity was long enshrined within a temporary shrine.
しかし、元治元年（1864年）の禁門の変により、本堂などとともに焼失し、長く仮宮に鎮座したままとなっていた。