Stavern fik yderligere betydning, da Ulrik Frederik Gyldenløve byggede befæstningerne på Citadelløya i 1600-tallet, og flådestationen og galejværftet for marinen blev flyttet fra Lagmannsholmen i Kristiansand til Stavern omkring 1758.