In Erwartung der Ankunft von Papst Pius II. richtete sich Ludovicos Aufmerksamkeit ab 1458 besonders auf seine Residenz, ein Gebäudekomplex, dessen ältester Teil, der Palazzo del Capitano aus dem frühen 14. Jahrhundert stammte.