The shrine is said to have been named Shimo Goryo-jinja Shrine (lit. Lower Goryo-jinja Shrine) due to its original location to the south of Kami Goryo-jinja Shrine (Upper Goryo-jinja Shrine).
元は出雲路の上御霊神社の南にあったことから下御霊神社と呼ばれるようになったと伝えられる。