Как правильно настроить мониторинг?
Можно проверять так:curl http://localhost:8000/radio.mp3 | head -c 300 | file - | grep MPEG
Если действительно прилетает MPEG Layer III поток, то греп выйдет с нулевым кодом завершения. Дальше шелл вам в руки.
По поводу vlc. Можно запускать его без графического интерфейса. И сделать для запуска systemd unit отдав управление запуском/перезапуском в случае падения  systemd на откуп. Ну а мониторить заббиксом уже активность systemd юнита.
Делать тестовый запрос и анализировать, что прилетает в ответ - по размеру или как-то более хитро.