Можно ли избежать кодирования видео в два разных формата для поддержки всех браузеров? (html5, тег video)?
Найдите опенсорсный клиент на флеше (аля ютуб) и используйте h.264 и его, это сейчас самый распространенный вариант
По идее, это должен решать не разработчик движка, а конкретный пользователь. Предоставьте возможность конфигурации своего демона. А пользователи сами решат — какой кодек, какое качество видео и какое количество копий им потребуется.