Han blev født i Balcarce, Argentina, af italienske forældre. Som elleveårig begyndte han at arbejde på det lokale autoværksted, hvor han med sin interesse og flair for mekanikken opbyggede en viden og erfaring, der kom ham til gode senere i karrieren. Han begyndte som racerkører i Sydamerika i 1934, primært i langdistance-landevejsløb – hvor deltagerne ofte selv måtte reparere eventuelle skader undervejs – og han blev argentinsk mester i 1940 og 1941. På grund af 2. verdenskrig blev hans fremadstormende karriere sat i bero, og først i 1947 kunne han komme til at køre i Europa. Fangio nød ikke den store succes før 1950, hvor han begyndte at køre for Alfa Romeo og blev nummer to, og året efter vandt han sit første verdensmesterskab. I 1952 skiftede han til Maserati, men endte med at være ude det meste af sæsonen efter et alvorligt uheld på Monza-banen: Efter et løb i Belfast dagen forinden kom han for sent til sin flyver i Paris, og besluttede sig for at køre resten af vejen til Italien. Han nåede frem blot en halv time inden løbets start, og nåede således ikke at få noget søvn. På et tidspunkt i løbet skred hans bil ud, og han kunne ikke reagere hurtigt nok til at redde den tilbage på banen. Bilen rullede rundt og Fangio brækkede halsen. I 1954 var han tilbage, stadig for Maserati, indtil han midt i sæsonen skiftede til Mercedes GP. Han vandt verdensmesterskabet det år, og fortsatte året efter hos Mercedes, sammen med bl.a. Stirling Moss, hvor han vandt igen.  Efter ulykken ved 24-timers racerløbet i Le Mans i 1955, der kostede 77 mennesker livet, trak Mercedes sig ud af motorsport i en årrække. Fangio begyndte derfor i 1956 at køre for Ferrari, hvor han overtog Alberto Ascaris plads, efter at denne var blevet dræbt i en ulykke. I alle sæsonens løb fik han første- eller andenpladser og vandt dermed sit fjerde verdensmesterskab. I 1957 vendte han tilbage til Maserati og vandt verdensmesterskabet for femte gang – som 47-årig – efter bl.a. en legendarisk præstation på Nürburgring i Tyskland, hvor han efter at have tabt næsten et minut i et mislykket pitstop kørte hurtigere omgangstider end nogensinde før, indhentede og overhalede de to førende Ferrarier på de sidste omgange og vandt løbet. Få måneder senere stoppede han karrieren.