Im Rahmen des Konflikts mit den Bischöfen von Münster in der ersten Hälfte des 13. Jahrhunderts erwirkte Graf Eberhard deshalb im Jahre 1251, dass der Bergfried abgerissen und durch einen niedrigeren Turm ersetzt wurde.