Это не обобщение, а моё мнение. Для каждой задачи - свой инструмент.
Мои эксперименты состояли в анализе и обработке данных (с нейронными сетями), а также в цифровой обработке изображений. Кроме того, я решал в Matlab разные алгоритмические задачи и технические задачи. В Octave - немного со статистикой данных игрался. Ничего выдающегося. Просто в Matlab для всего этого есть готовые пакеты.
Новых алгоритмов не придумал. Открыл только известные науке.