Целесообразно ли использовать Pandas в качестве базы данных?
будут ли серьезные просадки в скорости работы при большом количестве юзеров
Будут. Использовать аналитический инструмент в качестве интерфейса csv-файла - это так себе решение.
Вы разрабатываете бота в качестве развлечения (опыт) или в качестве какого-то продукта по заказу?
Если для получения опыта, то не совсем понятно, откуда возьмется "Большое количество юзеров".
Если по заказу, то такой подход очевидно имеет недостатки.
Более того, если вы занимаетесь Python, то явно планируете развиваться и работать в этом направлении в будущем, а значит вам ОБЯЗАТЕЛЬНО нужен опыт работы с базами данных.