Как запретить делать скриншоты определённых приложений?
Перехватывай трафик кейлоггера и редактируй его.
Пропатчи кейлоггер таким образом, чтоб вместо скриншота отправлял заготовленные картинки.
Пропатчи кейлоггер таким образом, чтоб у скриншота закашивалась часть, где отображается окно программы.
Если не понятно и не побежал уже пробовать, то тогда ответ простой - никак.
https://en.wikipedia.org/wiki/Video_overlay
В некоторых случаях это сработает (на скриншотах будет чёрное окно и т.п.). Зависит от способа снятия скриншотов.