Sau đó, nó phục vụ như một nhà thương điên, một tiền đồn phòng thủ trong Thế chiến và cuối cùng là một trong những nhà tù nổi tiếng nhất trên thế giới vì tù nhân nổi tiếng nhất của nó - Nelson Mandela. Mandela được gửi đến Đảo Robben vào năm 1964 và ông ở đó cho đến năm 1982.