Какую СУБД выбрать для высоконагруженного проекта?
Для MySQL указанное вами количество записей в таблицах не является критичным. Ищите узкие места в запросах и индексах. Попробуйте через EXPLAIN подебажить ваш запрос, тут подробнее почитайте об этом - https://habrahabr.ru/post/211022/
Попробуйте до MariaDB/Percona обновиться и протюнинговать БД.