Вставка видео-ролика на сайт, какой формат лучше?
Ваша задача не решаема. Гиг никак не ужать, в какой-нибудь адекватный размеркакой формат
Для веба применим только один формат, чтобы было максимально кроссбраузерно mp4 (h264-видео + aac-аудио)
Уменьшайте разрешение и битрейт по максимуму, пока пиксели в глаза не полезут.
+ см Как оптимизировать видео, вставляемое в качестве фона?
Основной вопрос не в том, даже, как минимизировать видео, а как организовать проигрывание без его полной загрузки.
Если просто положить файл на сервере и отдавать его по http, как бы оно не было сжато, оно создаст проблемы пользователям.
По меньшей мере, надо использовать что-то вроде nginx.org/ru/docs/http/ngx_http_mp4_module.html или h264.code-shop.com/trac/wiki/Mod-H264-Streaming-Ap... или какое-то аналогичное решение, для вашего веб сервера. Или даже специализированный стриминговый сервер. 
Также, надо снизить битрейт видео до пары мегабит хотя бы, а лучше даже меньше. Frame rate 50, конечно слишком жирно для веб - 30 уже более чем достаточно, да и разрешение, наверняка, можно сильно порезать, а дальше играться с качеством.
Но обычно, для одного видео, вся эта возня очень не выгодна, и лучше воспользоваться внешним сервисом, куда можно загрузить видео, и получить готовый плеер для вставки у себя, хоть тот же youtube годится...