Использовать ли Varnish вместе с nginx?
Varnish начинает проявлять себя если используете ESI.
Без ESI грамотно настроенные nginx + php-fpm уходят вперед.

Тесты: todsul.com/nginx-varnish

Пример конфигурации с ESI: github.com/Inori/symfony2-nginx-varnish
Сильно от приложения зависит, конечно, но чаще всего, использование такой связки совершенно не оправдано. Да и использование varnish вообще где не попадя часто плохая идея, хотя бы из-за довольно странного использования им памяти.