After the birth of the future Emperor Ninmyo after Emperor Saga prayed at the temple for a son in the year 813, the Emperor Saga's wife had a temple complex constructed and the institution was named Gansen-ji Temple.
弘仁4年（813年）には嵯峨天皇が皇子誕生を祈念して後の仁明天皇を授かったので、嵯峨天皇の皇后が伽藍を整え、岩船寺と称するようになったという。