Можно ли сделать 3д игру под андроид без движков если да — то как?
Конечно можно.
Достаточно изучить математику трёхмерной графики - координаты, проекции... Хорошо понимать и разбираться в вычислительной геометрии - пересечение линий, полигонов, уметь триангулировать как выпуклые, так и невыпуклые полигоны, понимать трассировку лучей и прочее...
Я в студенческие годы увлекался этим и вполне успешно. С нуля писал трёхмерные игры без каких-либо движков.
Это даёт огроменные скиллы как в математике, так и в программировании.
Ты на верном пути.
Почитай вот это:
"Ласло М. Вычислительная геометрия и компьютерная графика на С++"
"Иванов В.П., Батраков А.С. Трехмерная компьютерная графика".
Книги старые, но в этом есть их плюс - они не привязаны ни к ЯП, ни к библиотекам и фреймворка. Только основы, самая суть.
Написано очень простым и понятным языком.
Освоив это, тебе по зубам будут не только всякие там OpenGL, DirectX, Vulkan, но даже сам сможешь написать свою библиотеку.
Я на  основе этих книг написал крутые трёхмерные приложения - как игры, так и рейтрейсер с CSG.

На хабре есть цикл статей как всё это сделать
https://habr.com/ru/post/248153/
Движки облегчают создание игры.
Если создание игры в разумные сроки и ресурсы в приоритете, то движок самый логичный выбор.
Без движка, с нуля, это на пару порядков сложнее (чем с готовым движком).
Формально вам все равно придётся писать свой движок, так как соединение игровой логики и 3д (+физика+звук+ввод+....) функционала, еще более безумная идея.
Люди пишут свой двиг для повышения опыта и статуса.