Что держать в git'e при работе с wordpress?
Держите там те файлы, над которыми вы работаете.
Всё стороннее (движок, фреймворки, библиотеки, контент) загружать стоит только в том случае, если вы это собираетесь править.
А у вас кончилось место на диске? Залейте на BitBucket. 
А по факту, часто у самописных сайтов криворуко написанные плагины имеют привязку к компонентам конкретных релизов WP, а значит независимым от версии движка ваш репозиторий уже быть не может.
Ежели это не так, то храните в нем все кастомные части, остальное можно заигнорить.