Since the Nara period, the current site of Kozan-ji Temple has been home to temples including 'Togao-ji' and 'Togao-bo,' and it is said that it was constructed in the year 774 by the imperial decree of Emperor Konin, but the accuracy of these claims remains unclear.
今の高山寺の地には、奈良時代から「度賀尾寺」「都賀尾坊」などと称される寺院があり、宝亀5年（774年）、光仁天皇の勅願で建立されたとの伝えもあるが、当時の実態は明らかでない。