I 1952 blev John Mogensen medlem af sangkvartetten Blue Boys, men startede Four Jacks sammen med Poul Rudi, Otto Brandenburg og Bent Werther. Gruppen blev opløst i 1963, og John Mogensen fortsatte som pianist på Oslo-bådene, til familiefester og på mindre værtshuse. Han skrev også melodier til andre som "Du ser mig, når jeg kommer" til Grethe Sønck og et par melodier til Jørgen Ingmann. Det blev i 1964 til et enkelt forsøg med en single, der er John Mogensens formelle debut som solist. Med "Der er noget galt i Danmark" (1971) tog en stor solokarriere for alvor fart via en kontrakt med Jørgen Kleinert. Stribevis af indspilninger i sin helt egen pop/country-stil gjorde lykke hos publikum op igennem 1970'erne, og han modtog i 1972 Nikolaj-prisen af Poul og Lise Reinau for sin originalitet og for sin kunstneriske indsats. John Mogensens største hit på Dansktoppen var "Fut i fejemøjet", der første gang blev indspillet af skuespiller Kai Løvring som b-side på singlepladen "Enkebal på kroen" i 1970. Sangen blev ikke noget hit, men året efter indspillede John Mogensen selv "Fut i fejemøjet", der udkom som b-side til singlen "Erhard". Sangen lå på Dansktoppens førsteplads i 11 uger, og har solgt 150.000 eksemplarer. I 1972 blev sangen indspilet i en svensk version, med titlen "Sofia dansar go-go", af Stefan Rüden. John Mogensen mente ikke, at det var forkert at satse på det ugentlige radioprogram Dansktoppen som platform, selv om han ofte blev kritiseret for det. "Dansktoppen er dig og mig, den dejligste kop kaffe du drikker, bilen der kører forbi hver dag. Den er alt det og ingenting der sker hver eneste dag". John Mogensen havde problemer med alkohol. Det blev for alvor synligt hen mod slutningen af hans karriere, hvor han aflyste flere og flere koncerter. Det skyldtes også præstationsangst. Han lavede også sange som "Nede i møjet", der handler om, at han er fattig og sulten. Måden, hvorpå John Mogensens foredrog sine sange, havde et samfundskritisk præg, som var meget unormalt at høre i den danske radio.  Film I 2018 udkom Ole Bornedals film om John Mogensens liv Så længe jeg lever med Rasmus Bjerg som Mogensen. Historien følger Mogensen fra hans barndom over det første gennembrud med kvartetten Four Jacks til den hårde rejse mod toppen af de danske hitlister som solist. På sidelinjen står hustruen Ruth, og deres ægteskab er sangerens eneste holdepunkt i en musiktilværelse, der domineres af lidenskab, angst og alkohol. Filmen har medført en "genopdagelse" af John Mogensens musik og har fået danskerne til at anerkende hans hårde arbejde i en branche som ikke var let at bryde igennem.  Sidste ord John Mogensen gæstede stamværtshuset Færgegaarden for sidste gang 10. april 1977. Her sagde han til bartenderen Carsten Roslundh, "Old timer – jeg tror sgu jeg er færdig". Til dette svarede Roslundh "Gu' er du da ej færdig – du skal bare hjem til Ruth.". Kort efter faldt John Mogensen om og blev kørt hjem, hvor han døde af hjertestop.  Fortolket efter sin død Mogensens musik gik ikke af mode efter hans død. Talrige genudgivelser og opsamlingsalbum er udkommet siden. Den enkle "Så længe jeg lever", der udkom i 1973, regnes i dag for en standardmelodi, der blandt andet er optaget blandt 12 evergreens i Kulturkanonen fra 2006. Sangen var den mest spillede sang på de danske radiostationer i 1980'erne. I 1980'erne var denne titel også udgangspunktet for Erik Thygesen og Jacob Christesens kabaret, der turnerede i 12 år med bl.a Jytte Pilloni og Troels Jensen som medvirkende. Musicalen "Så længe mit hjerte slår" havde premiere i februar 1985 på teatret Københavneren. Forestillingen var en hyldest til John Mogensen, hans musik og det Danmark, han beskrev. Den tog sit udgangspunkt i John Mogensens sange, mens dialogen, der bandt de enkelte sange sammen, var skrevet af Erik Thygesen. Instruktør var Jacob Christesen, der også medvirkede i stykket i rollen som "John". Forestillingen turnerede landet rundt til langt op i 1990'erne. Datteren Minna Mogensen har også udsendt et album med sin fars sange. I Aarhus har Karsten Noel Loft gennem nogle år taget John Mogensens musik op. Han gør meget for at ligne og at synge som John Mogensen og formår at skabe en ”John Mogensen” stemning, når han sammen med keyboardspilleren Brian Thomsen optræder med John Mogensens repertoire.