Воркеры php-fpm неожиданно начинают потреблять значительно больше CPU?
Ещё вариант: заполняется OPcache. Чтобы проверить, вместо FPM restart попробуете выполнить его сброс.
вполне вероятно что параллельно идет какая-нибудь проверка обновлений или индексирование запускается..