Silberberg war am 30. Januar 1940 gezwungen seinen immensen Kunstschatz an das Finanzamt Breslau-Süd zu übereignen, weil ihm zuvor nach der Vermögensanmeldung seiner Kunstwerke Steuerhinterziehung unterstellt worden war.