Что такое орбитальный угловой момент светового луча?
Выглядеть может просто: на призму подают свет несколько источников, вся система крутится вокруг оси, совпадающей с лучом.
По спектрам не раскидать, потому что, может уже раскидали или подходящая полоса не такая уж широкая.
Почему нельзя разделить — ну потому что поляризации бывает N видов, а тут, грубо говоря, на спирали ты получаешь 360*N видов.
Амплитудная модуляция, думаю, в данном случае вообще не подходит из-за флуктуаций атмосферы: НЛО пролетают, облака всякие…
Есть разные, в общем-то, весьма простые способы модуляции фазы светового луча.

Например, если пропустить свет через кристалл, помещённый в электрическое поле, то фазовый сдвиг будет пропорционален напряжённости или квадрату напряженности поля (эффект Поккельса или эффект Керра — по сути, изменение показателя преломления среды). Соответственно, если сделать поле неоднородным в пространстве — то и луч можно будет промодулировать весьма хитрым образом.

В целом же, краткое описание разных методов дано, например, в английской википедии.

А в той же статье с ленты есть ссылка на блог Игоря Иванова (по мне, так отличный современный популяризатор) с описанием понятия углового момента фотона.