Учить SQLite или сразу перейти к изучению ROOM?
SQLite - это одна из самых простых БД. Вам конечно никто не запрещает не учить SQLite(SQL), только учтите, что всякие надстройки над БД - это путь в никуда. Если вы хотите изучать разработку под Android и потом устроится на работу, и вам зададут вопрос - "Есть ли у Вас опыт работы с БД" - вы ответите, что есть опыт работы с надстройкой - вас просто пошлют нах...!
Стоит ли учить SQLite или можно сразу переходить к ROOM?
Сразу Room, Sqlite это уровень ниже, слишком много лишнего кода.

Можно ROOM освоить "с нуля", без знаний SQL?
Ну, нет.