Добавляют ли файлы сайта на CMS в git?
Для joomla - нет. Получившийся репозиторий будет сложно (невозможно) использовать просто из за его гигантского размера. Единственный вариант - это какая-то застарелая, многолетне исправляемая в исходниках версия системы, которую просто страшно потерять. Надеюсь, это не такой случай :) 
Вообще - помещать в СВОЙ репозиторий нужно только СВОИ файлы - те, которые не идут с инсталляции системы и плагинов, а добавлены вручную. 
Нужно обязательно проверить, что репозиторий можно раскрутить в работоспособный проект с нуля, для этого служит композер или еще какие пакеты установки.
Чисто теоретически можно добавить все файлы джумлы. Ничего особо страшного не будет. Огромная обычно папка с картинками. В гитигнор помещают её, всякие логи/кэши, awstats и т.д. Просто при обновлении Joomla вам придется её пушить в репозиторий и синхронизировать с локальной веткой. 
А так выше правильно написали: ядро не трожь. Свои лейауты могут быть в папке с модулями и плагинами ну и естественно в шаблонах.