After Nobuzumi, the lord of the castle changed constantly from Nagahide NIWA, Mitsuyasu KATO, Chikamasa IKOMA, to Takatsugu KYOGOKU, but the castle had no lords after Takatsugu KYOGOKU was relocated to Omi Hachiman.
信澄の後には、丹羽長秀・加藤光泰・生駒親正・京極高次と目まぐるしく城主が替わったが、京極高次が近江八幡へ転封となった後は無城主となっていた。