Как выбрать из большого лог-файла?
Если в лоб: https://ru.wikipedia.org/wiki/ClickHouse
Задача звучит как описание дерева отрезков, поскольку операция объединения множеств ассоциативна.
www.e-maxx-ru.1gb.ru/algo/segment_tree
Думаю вы можете сделать его реализацию с хранением данных на диске, а в памяти держать только оффсеты начала/конца суточных диапазонов. Их будет всего около тысячи за 3 года.