Ariyoshi became a pillar of the family after them, however, it is said that he reduced the centripetal force after he was abused to lose his face by Yoritomo at the site of the memorial service for Dai-hannyakyo Sutra at Tsurugaoka Hachiman-gu Shrine in 1188.
彼らの後を受け一族の中心的存在となった有義であったが、文治4年（1188年）、鶴岡八幡宮における大般若経の供養の式の場において、頼朝によって面罵され面目を失うと、その後は求心力を失ったという。