Какую базу данных лучше всего использовать для обучения новичка?
Если не вникать в контекст использования БД, то абсолютно любую. Чаше остальных в вакансиях мелькает PostgreSQL.
Ну и я присоединюсь. Вообще-то по умолчанию любой JDK идет со встроенной базой данных Apache Derby (Java DB), по SQL совместима с DB2. Может работать как в серверном варианте, так и во встроенном. Рекомендую начинать с нее.
https://ru.wikipedia.org/wiki/Apache_Derby
Почему с нее? Она уже есть, она простая, она SQL, она работает.