Как можно хорошо сжать видео без потери качества на сайт?
Как можно сжать видео без потери качества на сайт,Никак, любая перекодировка (даже в тот же формат с теми же параметрами) будет неизбежно терять качество. 

чтобы на нем оставался прозрачный фон? Во первых - какой формат видео с альфа каналом изначально? Во вторых - на разных движках работать будут разные конечные форматы. Если хватит поддержки хрома и движков на его ядре - webm ваш выбор.
если видео продолжительное, то можно разбить его на видео по 5-10сек и загружать их постепенно.