Сервер — ретранслятор камер или напрямую для потока h264?
В общем запилил свой сервер-ретранслятор: pavelk.ru/server-retranslyator-dlya-ip-h264-kamer, кому нужен, пробуйте и допиливайте сами под свои нужды.
Для nginx есть модуль nginx.org/en/docs/http/ngx_http_mp4_module.html а лучше nginx вроде ничего и не бывает. Для обработки, композинга, переупаковки под смотрелку лучше ffmpeg ничего не придумали. Я такое делал. Все работает.