Как сделать чтобы Windows могла проверить подлинность самоподписанного сертификата?
Попробуйте добавить сертификат в Personal, Trusted People или Trusted Device
А вообще - не используйте самоподписанный сертификат. 
Поднимите свой ЦС. Сгенерируйте сертификат ЦА, и сертификат сервера, который будет подписан сертификатом ЦА. На клиентах устанавливаете в корневые доверенные центры сертификации сертификат ЦА и будет вам счастье.
Можно использовать встроенный в Windows Server Центр сертификации, или использовать openssl.

Другой вариант - ослабить проверку сертификата у клиента. Думаю как-то это должно делаться в винде, возможно через реестр или GPO. Но я бы не стал этого делать.
Добавить его в Trusted Root Authorities\Доверенные корневые центры сертификации для учетной записи Local Computer.