А существует ли какой-то аналог Git но для системы (Ubuntu) в целом — чтобы откатиться после изменений можно было?
Можно посоветовать снапшоты. У LVM есть, у BTRFS. Это довольно радикально, это как сохранения в играх.
По уму бы просто выполнять команды, обратные тем, что выполнялись до этого.
Обычно достаточно хранить конфиги из /etc, для этого можно этот самый git и взять (очень удобно добавить также etckeeper). Я бы еще отдельно в файлик коммитил вывод команды apt-mark showmanual, чтобы знать, какие пакеты ставились руками и в случае чего не вспоминать, что как называлось. Если вы не делаете что-то жутко специфическое, правя руками файлы по всей системе, то этого должно хватать. Снапшоты - это на крайний случай, если вы действительно хотите всю систему сохранять.