Haltermann war das zweite Kind des Reichbankbuchhalters und späteren Reichsbankrates Max Wilhelm Gustav Haltermann (* 29. Mai 1862) und dessen Ehefrau Anna Dorothea, geborene Schmidt (* 24. Dezember 1868 in Glogau).