Десятые сутки пылают станицы, или как делать скриншот из Youtube плеера
Чем вы RTSP пытались получить?
RTSP из YouTube API + ffmpeg должен дать нужный кадр.
Предполагал нечто похожее (заабузили ютуб в прошлом). Тем не менее, цитата

As I mentioned before, if you want to select a thumbnail that best represents your video then become a partner. If you think your channel isn't suitable then work on it to make it more attractive to partnership..