Каждую секунду запрос от миллиона пользователей. Как лучше?
оно тоже должно каждую секунду обращаться к серверу.
это сервер рассылает сообщения, а не клиенты сервер спрашивают.
И используют для этого websocket.
Самый неплохой из готовых вариантов https://github.com/centrifugal/centrifugo
Вот базы данных резиденты в памяти.
https://en.wikipedia.org/wiki/List_of_in-memory_da...
В принципе резидент может справиться с таким количеством и частотой запросов. Всё зависит от деталей. Если добавите информацию, что требуется сделать, ответ можно значительно улучшить.