Armin Baltzers Vater Friedrich (1801–1885) war in Zwochau Pfarrer und ist aus religiös-politischen Gründen nach längeren Jahren an unterschiedlichen Orten 1855 mit seiner Familie in die Schweiz emigriert und hat sich in Zürich niedergelassen.