What is more, when Yoritomo requested Yoshishige's daughter who had been Yoshihira's widow to be his concubine, Yoshishige refused the request, therefore, reportedly he drew a rebuke from Yoritomo ("Azuma Kagami" [The Mirror of the East]).
そればかりか、義平の未亡人となっていた義重の娘を頼朝が側室にしようとしたところ、義重がそれを拒否したため頼朝から勘気を蒙ったと伝えられている（『吾妻鏡』）。