Doch bereits während der Soester Fehde (1444–1449) beschloss die Stadt, die ungeschützte Pilgerherberge in das heutige, bis dahin als Hospital („Neues Hospital am Jakobitor“) genutzte Massivhaus direkt hinter dem Tor zu verlegen.