Какие распределенные файловые системы или хранилища сейчас популярны?
Ну тут вопрос сначала о бюджете и только потом о технологиях.
приведу реальный пример - есть 100ТБ электронных писем(почтовый хостинг) - миллиарды мелких файлов, есть зоопарк стораджей которые отдают это по NFS в контейнеры и виртуалки. Никаких обджект стораджей и цефа(или другой распределенной ФС).
сами стореджи - от просто 2U серверов с кучей дисков до СХД dell unity различный моделей.
горячего резервирования нет (ибо дорого), есть бекапы.
Поэтому вам нужно тщательно считать - возможно резервирывание и распределенный сторедж это то что вы не можете себе позволить, а вот просто 2U сервера от например supermicro на 24 или 50 дисков, которые отдадут NFS шару соседним серверам с контейнерами это то что вы можете позволить.
Отдельно нужно считать сколько стоит минута или час простоя вашего сервиса.
А вам правильно ответили - не используйте распределенные файловые системы, используйте S3, пусть даже поверх того же ceph

Файловая система должна предоставлять огромное количество очень жестких гарантий, что оборачивается крайне низкой производительностью в распределенном случае.

Теоретическое обоснование:

https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%BE%D...