Как ограничить скачивание документов в ВК. Сделать доступными только для подписчиков?
Нет.
К документам доступ для всех, они видны в поиске и доступны по ссылке.
как вариант можешь сделать приватные документы на аккаунт, а не на группу. 
а потом к примеру через бота отдавать документ по команде нужной.