In the latter part of the Heian period, the entire area in which Kongo-in Temple is situated was known as 'Shiraku no Sho' and was ruled by TAIRA no Kiyomori, son of the Samurai TAIRA no Tadamori.
金剛院を含む地域一円は、平安時代後期には「志楽庄」と呼ばれた地域で、武士平忠盛の子の平清盛が支配したこともある地域である。