Как запустить видео в Unity VR(Cardboard)?
В Unity 5.6, которая вышла сегодня, есть поддержка 360 видео из коробки. Документация на сайте ещё не вся обновилась, но пользоваться можно. Поддержка всех VR платформ тоже есть.
https://docs.unity3d.com/ScriptReference/Video.Vid...
https://docs.google.com/document/d/1gZa5z_jEEETDk8...
По сути правльно рассуждаете, MovieTexture нужен. и  текстуру из него транслировать в материал.
Видео  из поддерживаемых нативно чтоб кодеки не добавлять) 
удобнее всего mp4 контйнер какой-нибудь c  h.264+AAC внутри.
Ну а на деле, все же плагин из ассет стора, который умеет работать с нативной реализацией видеоплеера для оси (андрой и ios ) и что не мало важно  проигрывать стрим видео и с карточки памяти и тд. (а муви текстур это надо парсить заранее и в проект складывать)
Принцип работы плагина(вдруг решитесь копать  и свой писать)  по сути сводится к
- создать активити нативную плеера
- "скормить" ему видео
- получать с видео плеера (той самой активити) текстуру (кадр) 
- натянуть эту текстуру на антисферу (для 360)
(приправить все это шейдерами для рендера и обертками для работы из юнити)
Но на всякий уточню еще раз, что по сути плагин баксов за 70 - 150 сэкономит времени вам (и денег больше своей стоимости)
И еще момент MovieTexture поддержка скоро в Unity прекратиться, они новое апи для видео в версии 5.6 выкатывают , а старое будут прикрывать как сверх неудобное и почти бесполезное((