Существует ли хостинг для программы с математическими расчетами, с поддержкой платного доступа пользователей?
Не думаю что у вас какой-то прям простой и универсальный интерфейс, который могут поддерживать хостеры. По этому скорее всего нет, проще заплатить прогерам за создание веб приложения и системы подписки/оплаты в нем. Решается достаточно простым поднятием апи на любом популярном языке бэкенда.
UPD: Схема такая: ваше приложение поднимается на сервере. Есть прослойка в виде веб приложения которая: проверяет ключ клиента на валидность/оплату(авторизация), передает данные от клиента в ваше приложение на сервере(которые в таком ключе могут работать даже через стандартный браузер, без клиентской части приложения, правда придется написать все это в виде веб-странички еще), возможно из командной строки, или через файл данных, получает ответ приложения и отдает его клиенту.
ну продавайте просто хостинг панелей куча, автоматом можно выбрать развертывание нужного  вашего скрипта .