Die Überzeugung, dass die Fundamente der heutigen Holzkapelle im Südwesteck des Ensembles noch von der Eremitenzelle des seligen Hermann herrühren, war Anlass für die Entstehung der Wallfahrtsbauten des 17. Jahrhunderts.