Захват видеопотока с сайта — проблемы с преобразованием полученных файлов
Попробуйте с помощью VLC, он умеет просматривать «битые» файлы. Если получится, значит дело в заголовке и можно копать дальше.

Еще можно попытаться узнать, какой используется протокол и искать граббер под этот протокол. Например, напишите письмо админу сайта с вопросом о протоколе.
Попробуйте VirtualDub c различными кодеками.