According to the "Chuyu-ki," Yoshiie and Yoshitsuna chased and captured warrior monks from Mount Hiei on October 30, 1104, but this was Yoshiie's last official activity.
その後『中右記』によると、1104年（長治1）10月30日、義家・義綱はそろって延暦寺の悪僧追捕を行っているが、これが義家の最後の公的な活躍となる。