Man ved, at der i 1547 arbejdedes på denne befæstning, og 1551 fik Peder Oxe befaling til at lade nedbryde Nysted Kloster og benytte materialet til et slot, som kongen agtede at bygge her; ligeledes fik bønderne på Lolland-Falster befaling til at tage del i arbejdet.