Kemudian berfungsi sebagai suaka orang gila, pos pertahanan selama Perang Dunia dan akhirnya sebagai salah satu penjara paling terkenal di dunia karena tahanannya yang paling terkenal - Nelson Mandela. Mandela dikirim ke Pulau Robben pada tahun 1964 dan dia tetap di sana sampai tahun 1982.