When Kashitaro ITO and others left the Shinsengumi to form a new group, Goryo-eji (guards of Imperial mausoleums), in March 1867, Juro remained with the Shinsengumi (there is a belief that he did so because of Ito's secret order).
慶応3年（1867年）3月に伊東甲子太郎らが脱退して御陵衛士を結成した際には、そのまま組に残留した（伊東から密命を受けていたともされる）。