Можно ли как то получить ссылку на hls youtube и запустить ее в html5 video без iframe?
Тебе надо работать с API youtube. Получив данные о видео, надо будет распарсить ссылку, вытащить параметры и составить ссылку на видео. Ниже будет пример на codepen, там есть весь код, который необходим.snippet
Единственный вариант, скачать с ютуба видео (для автоматизации можно API стороннегг сервиса использовать) и уже собственно его и показывать в плеере вашем.
P.s. На ваш страх и риск, гугл/ютуб если спалит и обидится, то хорошего не ждите