Отказаться от group by и sort by?
Нет. При наличии правильных индексов будет работать быстро. На ЯП ты еще добавишь задержки на передачу данных и парсинг.
Узким местом не всегда является БД. Зависит от многоих факторов.
Не на том заморочился.
Оптимизируй количество сортируемого/групируемого правильным WHERE и индексами, а по сети таскать да в скрипте молотить это идея так себе.
Кстати про сеть и память, рекомендую таскать только самые необходимые поля, а не SELECT * как обычно делают...