Harkes spillede mellem 1987 og 2000 91 kampe for USA's landshold, hvori han scorede seks mål. Han var en del af den amerikanske trup til både VM i 1990 og 1994, og deltog også ved OL i 1988 i Seoul. Ved VM i 1994, der blev spillet på hjemmebane i USA, blev Harkes ufrivilligt del i colombianeren Andrés Escobars tragiske død. I de to landes opgør i den indledende gruppe kom Escobar til at score selvmål på et indlæg fra John Harkes. Kort tid efter slutrunden blev Escobar myrdet i sin hjemby Medellin, formentlig af narkogangstere, der havde tabt penge på grund af hans selvmål. Harkes har efterfølgende udtalt, at han stadig tænker meget på situationen, der førtet til målet.