Temple legend states that Gantoku-ji Temple was founded in modern day Terato-cho, Muko City in the year 679 before Chukai (son of late Heian period samurai TAIRA no Norimori) who had served at Hobodai-in Temple in Sanjo-dori Street, Higashioji-dori Street became head priest and restored the temple.
この寺は、寺伝によれば679年に現在の向日市寺戸に創建されたとされ、その後東大路通三条通の宝菩提院に住した忠快（平安時代後期の武士平教盛の子）がこの寺に入って中興したと伝えられる。