Nachdem der katholische Gottesdienst in der Margaretenkirche eingestellt worden war, beherbergte das Pfaffenhaus im 18. Jahrhundert mehrere jüdische Familien, die hier auch einen Betraum einrichteten.