Как записать rtsp поток качественно?
1. Macroscop есть под Linux. Если уже куплен, почему бы не использовать.
2. Можете поискать по тостеру. Тут кто-то уже пилил свой велосипед на ffmpeg  или что-то такое.
3. Возможно поможет поменять транспорт в ffmpeg на TCP.
Проблем с записью с камер может быть очень много.
Причинами будет как сама камера так и качество канала между ней и сервером.
По идее смена транспорта должна помочь, так как потери пакетов как бы намекают.
Время сегмента можете также уменьшить.
А ещё, долгими зимними вечерами можно пробовать Flussonic и его архив.
Работает он преимущественно под Debian/Ubuntu 64 bit.