Как уменьшить скорость загрузки сайта — time-to-first-byte?
Тоже задавал на тостере подобный вопрос:
Как вы оптимизируете скорость загрузки сайтов на WordPress?
Народ развернул там неплохую дискуссию  и ответ на свой вопрос я получил, хоть и не прямой.
1. Монстроуозные универсальные темы с темфореста очень сильно проседают по производительности. 
2. Вижуалкомпозеры, уберменю и т.п. 
Например, на одном сайте, с которым пришлось иметь дело, отключение WPBakery Page Builder и UberMenu снижало TTFB с 2х до 1й секунды.
2. Версия php.
Переход с php5.6 на php7 cнизил TTFB с 2х до 1.2 сек.
3. Хостинг.
Демо сайта было размещено на шаред-хостинге с оптимизациями.  TTFB главной страницы ~1.3. Перенесли этот сайт на VPS (без оптимизаций) от DO и получили TTFB ~0.2c.
4. Оптимизируем тему.
Есть достаточно плагинов, которые позволяют выявить узкие места. Query Monitor, например. Смотрите дорогие запросы к базе и думаете, что с ними можно сделать.  Также можно прикрутить всякие профайлеры.
5. Оптимизируем VPS
Если у вас VPS, а не шаред-хостинг. То лучше отказаться от кеширующих плагинов и настроить все средствами веб-сервера. Например:
https://deliciousbrains.com/hosting-wordpress-your...
https://deliciousbrains.com/page-caching-varnish-v...
Поставить дебагер и посмотреть. Для WP точно должен быть плагин.