A cobiça do comércio do ouro motivou renhidas lutas pela posse do castelo de Arguim. Holandeses, brandeburgueses, ingleses e franceses foram responsáveis pelas várias ocupações e alterações do castelo. Consciente de que ele seria sempre um foco de instabilidade, a dominação colonial francesa na Mauritânia (que só acabou em 1960) destruiu-o, como quem se livra dum fardo incómodo, reduzindo-o ao monte de escombros que hoje vemos. O primitivo forte limitava-se a um recinto quadrangular, com um torreão cilíndrico num dos vértices e uma entrada com ponte levadiça. Construído sob a responsabilidade de Soeiro Mendes d' Évora, seu primeiro capitão, em 1461, o castelo sofreria, em 1607, melhoramentos da autoria do arquitecto italiano Leonardo Turriano. Existem ainda elementos capazes de levar a uma restauração dessa primeira planta.