According to the temple legend, the origin goes back to 809, when Emperor Heizei abdicated the throne and started to live in seclusion at this place, naming it 'Kaya no Gosho (Thatched-Roofed Imperial Palace).'
寺伝によれば、大同(日本)4年（809年）、平城天皇が譲位してのち隠棲し「萱の御所」と称したのが始まりとされる。