А я вот свои пять копеек подкину))
Оптимизация во FreePascal, PascalABC даёт прирост всего 10%. В С# прирост раза в три, только при release mode в многопоточном приложении (да, такова цена отладки в таких случаях!!!)
Написал я тест на PascalABC.Net. Мой любимый тест))) Бессмысленный и беспощадный.
Выдал он 114 млн. циклов в секунду (С# 104 млн debug и 2871 relise -- был свёрнут цикл). Смотрю в его аналог в ББ. Вижу там ошибку, исправляю, запускаю, и.... 91 млн. циклов в секунду!!
Прошу заметить: целочисленная и вещественная арифметика.
После втыкания инструкций OpenMP у PascalABC -- 406 млн. циклов в секунду, что явное снижение эффективности на 12% (вполне похоже на правду)
У FreePascal на этом тесте -- 97 млн. циклов.
У Си -- 163 млн. циклов.

Так что, отрыв оказался не настолько катастрофичным, как можно было бы предположить с самого начала

Дальше.
Имеем проблему ввода/вывода. И на рабочей машине -- это 80-110 МБ/с. И это всё))
Локальная сеть -- это 12 МБ/с.
Если говорить про какие-то специализированные расчёты -- да тупо подтащить стороннюю библиотеку и горя не знать.
Если совсем специализированные расчёты, то написать самому и пойти попить чайку. И это будет заведомо дешевле, чем заказать на стороне. А если надо сделать быстро, значит улучшаем алгоритм. Это лучшая оптимизация)
В одной из питонячих дискуссий был приведён такой диалог;
Я могу написать вам эту программу за 100 уе.
Пишите.
Другой программист:
Фу, как не кошерно! Я могу эту программу ускорить в 70 раз иработать она будет не 7 сек, а гораздо быстрее!!
Сколько?
2500 уе. С учётом кратности ускорения -- это выгодное предложение!
-Спасибо, мы решили купить новый сервер за 1000 уе.