Можно ли с репозитория скачать определенную внутреннюю папку и отслеживать только ее?
Нет
Есть экспериментальная команда sparse-checkout, которая распаковывает в рабочий каталог только некоторые папки, но сам локальный репозиторий всё равно будет содержать весь проект.