Будет ли правильно делать всю игру через UI?
Нет, это неправильно.
Проблема будет с пересчетом - UI в юнити хитрая штука, и постоянные анимации и перемещения в нем могут стоить очень дорого.
Можно, но зачем?
Например, зум предполагает наличие камеры, по всей видимости. Или если там нужно будет ходить по комнате, которая не умещается на экране, то это нужны координаты комнаты и координаты перса и камеры относительно комнаты. Почему бы не задействовать возможности, которые уже есть, в соответствии с их предназначением?
Хотя, если это что-то очень очень простое типа визуальной новеллы, то вполне вариант, почему бы и нет.