Christian 5. grundlagde fæstningen Christiansø i 1684. Der var op imod 450 mand i gang med fæstningsbyggeriet ledet af ingeniør Anthony Coucheron, som et af øens batterier er opkaldt efter. Granitten til byggeriet blev brudt på stedet, mens alle andre byggematerialer måtte fragtes over havet. Den 24. oktober 1808 bombarderede en engelsk flåde fæstningen, og flere fartøjer blev skadet: syv mennesker døde og 10 blev såret. I 1855 havde fæstningen mistet sin militære betydning og blev nedlagt. Dr. Dampe sad fængslet i Ballonen fra 1825.