Как организовать безопасность общения:  сайт — сервер платежной системы ?
Да закрыть вообще все кроме 22, 80 и 443 порта. Ну и все через HTTPS. Двухфакторная авторизация была бы не лишней и не только в админке.
Мне кажется, что никак. Если твоё приложение может отправить запрос, то и любой с его правами может это сделать.
Как  одна из мер - попробовать договориться с банком, чтобы пропускало не все платежи, а только попадающие под определённые параметры. А не попадающие под эти условия платежи должны привлекать внимание твоё и службы безопасности банка. Ну и о задержке и откате транзакций тоже договориться.