Während der jüngere Bruder Ludolf für zwei Jahre auf Reisen gehen musste, ließ Joachim von Schwerin zwischen 1577 und 1580 ein zweigeschossiges Gebäude, den Joachimsbau, in unmittelbarer Nähe des Ulrichsbaus errichten.