Подойдет ли Python для сложных математических расчетов?
Подойдет. https://habr.com/post/312268/
Язык Julia похож на MatLab и по-моему больше подходит для сложных математических расчетов. Но о Python больше пишут, так что при помощи его библиотек тоже можно.
Есть еще Фортран.