Die Burg Kakegawa liegt auf einem 40 m hohen alleinstehenden Hügel und hat eine Ost-West-Ausdehnung von 600 m und eine Nord-Süd-Ausdehnung von 400 m. Der höchste Punkt wird vom (im Jahr 1954 wieder aufgebauten) Burgturm eingenommen.