However, when Yoshitomo's bereaved son, MINAMOTO no Yoritomo, who was deported in Izu Province, rose an army in 1180, he joined the army and went to the front in the Battle of Fuji-gawa River and the conquest of Satake clan, following Yoritomo's younger brother MINAMOTO no Yoshitsune.
しかし治承4年（1180年）に伊豆国に流罪となっていた義朝の遺児源頼朝が挙兵するとそれに従い、その弟源義経に従って富士川の戦い、佐竹氏征伐にも従軍している。