Как понять, из-за чего забивается вся оперативная память на VDS?
Ограничивайте максимальный объём памяти и количество процессов PHP, ограничивайте доступную базе память. Смените апач на нгинкс, фигли он целый гигабайт-то занимает?
Нужно начать использовать инструменты мониторинга и профилирования приложения на предмет потребления памяти и производительности. Для каждого ЯП они свои. Плюс есть инструменты для профилирования Linux. Однако я бы посоветовал переходить к ним лишь после тщательного анализа приложения средствами языка.