The details surrounding the founding of Kaijusen-ji Temple are not entirely clear but, according to temple legend, it was founded in the year 735 under the name 'Fujioyama Kannon-ji Temple' by Roben (the first priest of Todai-ji Temple in Nara) on the order of the Emperor Shomu.
当寺の創建事情については必ずしも明らかではないが、寺伝では天平7年（735年）、聖武天皇の勅願により良弁（ろうべん、奈良東大寺の初代別当）を開山として藤尾山観音寺という寺号で開創したという。