Hojuji-dono Palace came to symbolize the glory of the Retired Emperor and the Taira family, but Nan-den was set ablaze in 1183 by Yoshinaka KISO's forces (Siege of Hojuji-dono Palace), the Retired Emperor escaped to Ima Hie-jinja Shrine in a palanquin and later moved to Rokujo Nishinoto-in Temple's Choko-do Hall where he lived out the remainder of his life.
上皇と平家の栄華を象徴する法住寺殿ではあったが、1183年(寿永2年)木曾義仲の軍勢によって南殿に火がかけられ（法住寺合戦）、上皇は北の門から新日吉神社へむけ輿にのって逃亡、以後上皇は六条西洞院の長講堂に移りそこで生涯をおえる。