Fl-1474, il-prinċipessa Isabella baqgħet fl-Alcazar fiż-żmien tal-inkurunazzjoni tagħha bħala reġina ta’ Kastilja, u fl-1570, ir-Re Filippu II iżżewweġ ir-raba’ għarusa tiegħu, Anna tal-Awstrija, fiċ-ċittadella.
Ir-Re Felipe II kellu ħafna nisa, minkejja li l-knisja qaltlu le.