I 1743 blev Hammershus rømmet og derefter anvendt som stenbrud, der blandt andet blev brugt til at bygge hovedvagten i Rønne, den sidste slotspræst var allerede i 1648 befordret til sognepræsten i Nyker.