Under such circumstances, his residence was destroyed completely in 1151 by the attack made by Yorinaga on the pretext of a squabble between their servants.
こうしたことを背景に、仁平元年（1151年）、従者同士の諍いを口実にした頼長に邸宅を襲撃され、散々に破壊されるという災難を蒙っている。