Как сделать шифрованный канал между 2 приложениями?
Да, это, разумеется, возможно.
Сертификат сервера будет проверять ваше клиентское приложение. При этом вы можете задать свою функцию для проверки сертифката через options.checkServerIdentity()
https://nodejs.org/api/tls.html#tls_tls_checkserve... 
Обычно в таких случаях проверяется не имя и не цепочка доверия, а просто хэш сертификата сервера (fingerprint  или fingerprint256 ) и годится совершенно любой самоподписанный сертификат, причем это гораздо безопасней и надежней чем доверие к корневым CA. Такой прием в приложениях обычно называют Certificate pinning.
В принципе - не за чем здесь TLS, если два серва - ваши.
Можно просто дать каждому серверу одинаковую "соль" и "ключ".
И с помощью любой криптостойкой функции сразу начать передавать данные между ними.
Время от времени - обновляйте пару соль-ключ.