He closely communicated with the Hijikata family, Kondo family, and Sato family, and when Saito died in 1874, the families built monument of honor in Otsuka Kannon Do in Hachioji City.
土方家や近藤家、佐藤家と深い交流があり、明治7年に斎藤が死去すると、同家らによって八王子市大塚観音堂に顕彰碑が建てられた。