Как лучше реализовать систему мониторинга HTTP ответов?
Zabbix , там есть инструмент , так и называется Web monitoring, умеет код ответа проверять, умеет время ответа проверять, можно делать сложные сценарии.
Вообще непонятно зачем тебе /tmp и /archive задача вполне себе решается на базе той структуры что уже есть.
Тебе-же не надо хранить всю историю ответов от "рождества Христова"? Текущий response сравнивай на "лету".