Что определяет качество 3D картинки в играх?
Чем обусловлена такая разница?Баблом. 
Анрил пилят сотни инженеров за бабки. А огры — костылями студенты за чсвешчку. Вот и вся разница.
OpenGL может выдать абсолютно то же самое, что и directx или вулкан. Потому что это все — API. А это в, свою очередь — просто соглашение, как нужно писать. У стандартов графических API нет понятия качества картинки. Качество зависит только от профессионализма разработчика, как инженера-математика, его фантазии отчасти, способностей нестандартно мыслить. 
Разработчики анрила многие имеют ученые звания в этой области, проводят исследования, выступают на конференциях с докладами, работали в нвидии, интеле и прочих корпорациях, которые изначально делают видеочипы, поэтому их экспертиза позволяет им творить такое. 
Открытые же движки никто не спонсирует, поэтому кандидаты наук туда не идут.
не эксперт, но как дизайнер и геймер думаю что собака зарыта в следующем (по приоритету важности):
1) Освещение
2) Анимация
3) Качество материалов (не только текстур, т.к. есть игры без текстур).
Геометрия уже вторична.