Как снизить время загрузки сервера на сайте WP?
Чтобы ускорить WP раз в 10 вам нужно сделать сервер: nginx + php7 + opcache 
При этом удалить все плагины кеширования в самой WP!
Ускорение в 10 раз реально при условии что у вас apache + php5.6, реальные замеры на реальных проектах (без оптимизации кода снижение ответа сервера с 2 сек до 250млс, главное чтобы WP и плагины у вас были актуальных версий с поддержкой php7)
UPD: Если речь о сайте что у вас в подписи, то вам нужно обновить php до 7.1 или 7.2 и включить opcache, ответ сервера снизится раз в 5 точно! у вас уже стоит nginx, его можно разве что обновить и включить http2 для многопоточный передачи css/js/img - это отразится именно общей скорости загрузки страницы. Так же как писал выше, попробуйте отключить плагин кеширования в WP (после всех обновлений что писал выше), если у вас итоговый ответ сервера будет 300-400 млс то он вам не понадобится, а сейчас он так же создает нагрузку на сервер и без него первая загрузка страницы могла бы быть быстрее чем сейчас.
Я добился 100 очков для WP в PageSpeed Insights. Если умеете Linux, то эта заметка Вам пригодится