Какие преимущества дает связка wordpress сайта с react?
Во первых, Gatsby это SSG, он генерирует статичные сайты, а еще умеет генерировать PWA (сам гэтсби, к слову, именно так себя позиционирует, как PWA генератор). Это не SPA.
На счет вордпресс вы правильно поняли - его можно использовать с гэтсби в качестве CMS. Никакого отношения к логике самого сайта, при этом, вордпресс иметь не будет, это будет просто именно интерфейс для работы с контентом. Вообще есть множество CMS нацеленных специально для работы со статичными генераторами сайтов, вот хороший список: https://headlesscms.org/
На счет баз данных. Внутри гэтсби для работы с данными встроен GraphiQL, он работает из коробки. При этом источниками инфы может быть что угодно, это могут быть и внутренние файлы (популярно использование markdown файлов для постов в блоге, но вообще можно хоть json или csv использовать), и какие либо API (тот же вордпресс).
На счет скорости работы - это, на самом деле, комплексный вопрос. Но да, гэтсби обычно заметно быстрее, при чем дело не только в том что в итоге юзер получает статичный сайт, но и во встроенных в гэтсби инструментах оптимизации, к примеру там есть очень крутые инструменты для оптимизации показа картинок.
На счет комментариев. Можно пользоваться сервисами для комментариев, есть попсовый https://disqus.com/ или есть опенсорсная платформа для комментариев https://commento.io/. 
Вообще я часто вижу что и сайты на вордпресе все равно использую тот же дискус.
Дает лишние заморочки и профита особо не будет. Стоимость коммерческая сайта вырастет очень сильно, а пользы будет немного. Забей и не заморачивайся