De svenske landede uhindret her 7. august 1658, og de holdt slottet besat under hele krigen og forstærkede befæstningerne således, at fæstningen endog siges at være anlagt af svenskerne; desuden nedbrød de en del af byens huse i nærheden af slottet og anlagde en ny befæstning inde i noret på "Lilleø", der nu er inddæmmet.