Какой самый оптимальный / надежный вариант для хранения данных?
Взять redis и настроить синхронизацию с диском в зависимости от паранойи и производительности вашего сервера.
Дело в том, что хеш таблицы это идеальная структура данных для вашей задачи.
Я больше в поисках лучшего и самого простого способа для работы/разворачивания с бекапов.
Попробуйте Tarantool.
— "персистентность": лог транзакций (.xlog) и полные снимки БД (.snap);
— простой перенос с сервера на сервер (достаточно скопировать все файлы командой scp);
— простая система горячего бэкапа и подключения реплики;
— быстрее чем Redis :)