Sammen med sine fire døtre slog Hammer sig ned i Villa Idyle ved siden af sønnens familie i Vyk, og her optog datteren Caroline en lang række fotografier, der viser familien Hammers liv. 1859 blev han Ridder af Dannebrog og kammerråd.