Nielsen startede med at køre gokarts. I 1974, da han var fyldt 18 år, rykkede han op i Formel Ford, hvor han året efter blev dansk mester i klassen. Fra 1979 til 1981 forsøgte han sig i Formel 3, og vandt i denne periode tre EM-titler i Formel Super V. I blev 1982 blev John Nielsen tysk F3 mester, og året efter  blev han nr. 2 i F3-EM.  John Nielsen kom i 1984 ud for en alvorlig ulykke i Monaco, som nær havde endt hans karriere. Samme år vandt han F3-løbet i Macau, og i 1985 rykkede han op i Formel 3000.  I 1987 blev John Nielsen tilknyttet Jaguars sportsvognsteam. I 1988 blev han vinder af Daytona-løbet, og 1990 vinder Nielsen 24 Timers Le Mans sammen med Martin Brundle og Price Cobb. John Nielsen sad bag rattet i 14 af de 24 timer. John Nielsen har været med i udviklingen af Jaguar XJ220, McLaren F1 og Bugatti Veyron. GT-racing nåede han også at køre, med bl.a. en sejr i BPR-mesterskabet, i en McLaren F1 GTR. I 1996 vandt Nielsen det japanske mesterskaber i en McLaren F1 GTR. Herefter koncentrerede John Nielsen sig om dansk racing, og blev blandt andet teamchef i DTC fra 1998.  Le Mans John Nielsen er noteret for 18 Le Mans-starter, senest i 2008, hvor han og Essex blev nr. 2 i klassen med en Porche RS Spyder.