In 1183, he left the capital to Saikai together with the Taira family, and at the Battle of Dan no ura in 1185 he was held captive with TAIRA no Tokitada who was his uncle and others.
寿永2年（1183年）、平家一門の都落ちに従って西海に赴き、元暦2年（1185年）の壇ノ浦の戦いにおいて伯父の平時忠らとともに捕虜となる。