Mysql при DOS атаке?
Защита от DDOS, 512RAM, apache. Эти слова в одном предложении нельзя говорить )
Оперативки, по современным стандартам, маловато конечно. Под нее следует настроить MySQL. Можно взять готовый my.conf из Bitrix Environment, там нормально настроено  под малые объемы памяти, с использованием InnoDB