Подскажите алгоритм
Вот полное решение.

Пусть исходные числа — a и b.
1. Очевидно, если числа не являются взаимно простыми — ответом будет бесконечность.
2. Известно, что любое число m может быть представлено как m = ka+lb при взаимно простых a и b.
Для того, чтобы m не было разложимым, должно выполняться одно из двух условий: k<0 или l<0.

Заметим, что (k+b)a+(l-a)b = ka+lb = (k-b)a+(l+a)b. Отсюда следует, что для неразложимом m должны существовать такие k и l, что k<0, l
Поскольку нам известны ограничения сверху как для k, так и для l, притом эти ограничения независимы,
можно взять эти переменные по-максимуму.
m = (-1)a+(a-1)b = (b-1)a+(-1)b = ab-a-b.

Следовательно, для взаимно простых a и b ответом будет ab-a-b, а для имеющих общие делители — бесконечность.
Сам ответить не смогу (я — прикладной программист, а не математик).
Если честно: тебе это нужно для каких-то практических задач?