In 1224, during the Kamakura Period, FUJIWARA no Kintsune (Kintsune SAIONJI) established the Saion-ji Temple and his mountain villa named "Kitayama-tei" on the site.
この地には、鎌倉時代の1224年（元仁元年）に藤原公経（西園寺公経）が西園寺を建立し、あわせて山荘（「北山第」）を営んでいた。