Im Herbst 1943 fiel er bei der NS-Diktatur in Ungnade, weil er sich geweigert hatte, Konzerte im Rheinland abzuhalten, das damals stärker als jeder andere Teil Deutschlands von Bombenangriffen bedroht war.