It is not known how this affected his life but, in March 1867, he left the Shinsengumi together with Kashitaro ITO in order to form the Goryoeji (Kodai-ji-to).
これが彼の人生指針にどのような影響を及ぼしたのかはわからないが、慶応3年3月　伊東甲子太郎と共に御陵衛士（高台寺党）を結成すべく新選組を離脱している。