Museet ligger i en ombygget villa, som blev bygget til Paolo Guinigi hersker over Lucca indtil 1430. Den sengotiske bygning blev opført fra 1413 til 1418 som Villa di Delizia. Den store murstensfacade har en central porticus. Efter Guinigis død blev bygningen konfiskeret af [[Republikken Lucca|republikken], og den tjente efterfølgende en række forskellige formål. Først i 1924 blev bygningen valgt til at huse en kusntsamling, der indtil da havde befundet sig på Palazzo Pubblico. I 1948 blev det doneret til den italienske stat. Herefter blev der udført en mere organiseret konservering, og man omarrangerede samlingen, og delte den op i denne villa og Palazzo Mansi.