Как скачать видео по прямой ссылке?
Потому что на YouTube так организовано хранение и передача видео. И вам придётся скачивать фрагменты и затем соединять их в целое видео. Можете начать знакомиться с теорией, например, с этих статей: MPEG-DASH и HLS.
А все зависит от формата видео. Оно может быть в формате hls, тогда само видео изначально разбито на маленькие кусочки. Тогда нужно скачать индексный файл в формате m8u , где указаны все видеофрагменты.