Смотреть надо по задачам.
DSP и контроллеры, которые живут прямо над железкой - это одно.

Код системного назначения на основных машинах, даже в системах реального времени - совсем другое. Там просадки начинаются на вводе-выводе и прочем, конкретные дробления битов резко падают в удельной цене. С памятью надо хорошо работать, параллелизм диспетчить подходящим образом, не полагаясь на ОС, на "квадрат" в алгоритмах не попадать и не мудрить с усложнением структур данных (обычно вместо оптимизации за счёт усложнения просадка получается).

Помню, года три назад я реализовывал алгоритмы защиты информации на КП - в итоге ничего и оптимизировать не пришлось, для своей задачи прекрасно хватило, хотя там гигабайты обрабатываться должны были за разумное время...