Tradition says that Joe, the first son of FUJIWARA no Kamatari, founded this temple as a branch temple of Myoraku-ji Temple (present Tanzan-jinja Shrine) in 712.
伝承では和銅5年（712年）に妙楽寺(現在の談山神社)の別院として藤原鎌足の長子・定慧（じょうえ）が創建したという。