Legend says that Joe founded the Daizen-ji Temple as the first chief priest in 705, but Enchin converted it to the Tendai sect early in the Heian period.
705年（慶雲2年）定恵の開山により創建された寺と伝えられ、平安時代前期に円珍が天台宗に改宗したという。