In 1155, when his daughter Yukiko passed away, he quickly separated himself from Yorinaga and approached Bifukumonin, and was appointed Togu no Fu, the head tutor of Emperor Nijo's son.
久寿2年（1155年）に幸子が逝去すると頼長から離れて美福門院に接近、皇太子・二条天皇の東宮傅（とうぐうのふ）になるなど変わり身の早さを見せる。