Damage caused by fires in 1296 and 1548, and an earthquake in 1596 led to the loss of the original Buddha statue halls, the tombs of the Emperor Toba and the Emperor Konoe, and the three-storey pagodas (Hon-mito and Shin-mito).
その後、寺は永仁4年（1296年）と天文17年（1548年）に火災に遭い、慶長元年（1596年）の地震でも被害を受けて、創建当初の仏堂や、鳥羽天皇・近衛天皇の陵であった2基の三重塔（本御塔・新御塔）は失われてしまった。