Während der Diktatur der Nationalsozialisten erlitt das Sammeln Moderner Kunst einen herben Rückschlag, vor allem durch die Beschlagnahmungsaktion „Entartete Kunst“ 1937, durch die dem Museum 23 Kunstwerke verloren gingen.