The Tatsuno Domain became the shogunal demesne after the Kyogoku clan changed the territory to the Marugame Domain in 1658, so the castle was knocked down and abandoned.
龍野は万治元年（1658年）に京極氏が丸亀藩に転出して以降天領となっていたため、城も破却され、荒れた状態となっていた。