While brothers of Yoshinobu strived for promotion by acting in concert with Yorimichi, Yoshinobu refused and quarreled with Yorimichi openly, sometimes making his father angry.
能信の他の兄弟は頼通と協調して自己の出世を図ろうとしたのに対して、能信はそれを拒絶して公然と頼通と口論して父の怒りを買うことすらあったという。