In 1191, because of the battle with Enryaku-ji Temple over Sasakinosho's nengu (land tax) the entire family was banished, and Hirotsuna was banished to Oki Province.
建久2年（1191年）、佐々木庄の年貢を巡る延暦寺との争いにより一門は流罪とされ、5月8日、広綱は隠岐国に流される。