Meanwhile, he never forgot to show consideration for Goshirakawa, whose cloister government was terminated, and he built Rengeo-in Temple for him in 1164.
院政を停止させられた後白河への配慮も怠りなく、長寛2年（1164年）蓮華王院を後白河のために造営している。