Можно ли выразить алгоритм в виде математической формулы?
Используйте функцию max.

Значение в каждой ячейке будет max(0, (тукущее значение) - max(0, (платеж) - (сумма всех следующих ячеек))) 

Поскольку нужны будут все частичные суммы, то есть смысл в соседних ячейках подсчитать все эти суммы.
Ничего не понятно, но очень похоже на линейное программирование.