Какая графика используется в игровых движках?(вектор или растр.)И как вообще устроен графический редактор в них?
Видеокарты не умеют работать с векторной графикой, поэтому векторные исходники (если таковые имеются) преобразуются в растр в какой-то момент времени (компиляция проекта, выбор разрешения).
Трёхмерная графика не бывает векторной и растровой. У неё там свои разновидности, и там она используется полигональная. Текстуры, разумеется, растровые. Существуют псевдовекторные элементы вроде поля расстояний, но это именно что «псевдо-».
Двухмерная — в подавляющем большинстве случаев растровая, но и векторные элементы бывают.