Von der ehemaligen Festung Rheinberg ist aktuell das Zentrum des Ortes von einem zu über 90 % erhaltenen, ehemaligen Wallgraben umgeben, der in der Zeit zwischen 1290 und 1311 für die erste Befestigungsanlage mit Stadtmauer und Türmen erbaut wurde.