In 1180, Hannya-ji Temple was burned down together with some other temples such as Todai-ji Temple and Kofuku-ji Temple during the fire of the southern capital by TAIRA no Shigehira, and it is said that the temple remained abandoned for awhile after that.
治承4年（1180年）、平重衡による南都焼き討ちの際には、東大寺、興福寺などとともに般若寺も焼け落ち、その後しばらくは廃寺同然となっていたようである。