Оправдает ли себя HipHop PHP?
Телепат режим on:
Если Вы пишите именно тестер - то скорее всего узкое место у Вас вовсе не код самих тестов - а их количество помноженное на длительность (которая в том числе зависит от времени ответа тестируемой системы).
Соответственно Вам нужно думать не про линейное ускорение работы, а про параллельное выполнение тестов.
Вот например общий рассказ про суровое решение Badoo habrahabr.ru/company/badoo/blog/220211 , у Вас более простая задача.
Все очень зависит от того как написан ваш код. Если там есть обращения к глобальным переменныем, используются магические методы и т.д. то JIT это все будет очень плохо оптимизировать.
Вообще проще прогнать вашу тулзу через HHVM и посмотреть что будет. Но прирост если и будет то не в 20 раз а в 2-5 раз максимум. Но опять же нужно проверять. Просто поставьте hhvm (есть пакеты под основные дистрибьютивы) и прогоните тест.
Вообще у меня есть подозрения что и на php можно ускорить все в разы пересмотрев архитектуру приложения. В частности - паралелизация, работать в несколько потоков будет оно явно быстрее если нету зависимостей по данным между тестами. Ну и т.д.