Как защитить rss от граберов, но при этом разрешить индексацию для Турбо-страниц Яндекса?
Robots.txt граберам не указ.
Нужно именно закрыть доступ, а не повесить табличку «Закрыто».
Как справедливо замечено выше, на уровне конфига сервера.
Например, для Апача добавить в каталог с фидом .htaccess с примерно таким содержанием:
SetEnvIf User-Agent YandexBot/3.0 welcome=1
Order Allow,Deny
Deny from all
Allow from env=welcome
И разрешить Яндексу индексацию в robots.
При помощи User-Agent можно разрешить доступ к ресурсу только для избранных на уровне конфигурацией веб-сервера Apache .htaccess / Nginx.