Как добавить в Git репозитории только содержимое папки?
У вас подход к VCS вообще-то какой-то странный. Трекать надо как раз исходники и сами файлы, описывающие билды. А папка build - первой строчкой идет в .gitignore, сразу за ней - node_modules и прочие папки, которые выкачиваются пакетными менеджерами (будь то bower, npm, composer или что угодно).
gitignore заюзать для всего что вокруг может?