According to "Ishiyama-dera Engi" (a scroll painting of the history of Ishiyama-dera Temple), this temple was founded in 747 at the wish of the Emperor Shomu when Roben (the founder and administrator of Todai-ji Temple) enshrined Nyoirin Kannon which was the nenjibutsu (a small statue of Buddha kept beside a person) of Prince Shotoku at this location.
『石山寺縁起』によれば、聖武天皇の発願により、天平19年（747年）、良弁（ろうべん、東大寺開山・別当）が聖徳太子の念持仏であった如意輪観音をこの地に祀ったのがはじまりとされている。