However, the temple gradually went into decline after losing the patronage of the Imperial Court following the death of Nobuko, "Shoyu-ki" (the diary of FUJIWARA no Sanesuke) describes how that the path leading to Kami-dera became extremely overgrown.
しかし、順子が死去したあとは朝廷の庇護を失い次第に衰微していったようで、『小右記』ではすでに上寺に行く道が非常に荒れていることが記述されている。