Почему symfony такой медленный?
Потому что сверхгибкий. Абстракция не бесплатна.
Потому-что сервак надо нормально настраивать. Для голой симфони норма - 0.1 сек. На php7 - 70 мс. 
В первую очередь включить opcache и перейти на nginx