Брандмауэр непричём, когда я тестировал - он был выключен на всех компах.
Я тут погуглил, нашёл сообщения о похожих ошибках в Делфи. В похожей ситуации тоже не происходит коннекта.
Ещё, как оказалось, библиотека wsock32.dll на которой основан модуль WinSocket уже давно является только обёрткой и все вызовы в ней перенаправляются в ws2_32.dll

Как всегда мелкософтовцы опять начудили с обратной совместимостью.