Как мне перенаправить поддомен на другой IP адрес?
Хост должен называться либо archive либо archive.test.ru. (с точкой в конце).
При отсутствии точки в конце названия, к нему автоматически дописывается суффикс домена и вы получаете archive.test.ru.test.ru.
Непонятно какой у Вас домен. Пусть будет yourdomain.com (явно не test.ru)
Если Вы хотите добавить IP адрес для поддомена archive.test.ru.yourdomain.com тогда добавили правильно.
Но если Вы хотите добавить IP адрес для поддомена archive.yourdomain.com тогда в поле хост нужно написать либо 
archive 
либо
archive.yourdomain.com.
И проверьте, действительно ли этот домен делегирован на сервера яндекса