Billy Joel indspillede uden større succes tre album inden sin solo-karriere: to med gruppen The Hassles og et med gruppen Attila. En kort overgang fungerede han som musikkritiker ud over at spille live med The Hassles. I 1971 skrev Joel kontrakt med Family Productions og indspillede snart efter sit første album, Cold Spring Harbor. Albummet solgte ikke godt og blev i øvrigt udgivet med en stor fejl, da masterbåndet kørte for hurtigt. Først i 1984 blev en version, hvor sangene kørte med den rigtige hastighed udgivet. Kontrakten med Family Productions førte kun til udgivelsen af denne ene plade, men kontrakten indeholdt en klausul, der betød, at produktionsselskabet havde ret til royalties i resten af Joels karriere. Af denne grund optræder Family Productions logo på alle Joels udgivelser til og med 1989. I 1972 flyttede Joel til Los Angeles og tog dæknavnet Bill Martin for at slippe ud af kontraktforpligtelser med Family Productions. I det næste halve år spillede han piano i den lille bar The Executive Lounge. Efter at være blevet gift med Elizabeth Weber begyndte han på en turnetilværelse – atter under navnet Billy Joel. En liveudgave, indspillet i WMMR's radiostudie i Philadelphia, af sangen Captain Jack blev ønsket og spillet så meget i Philadelphia, at det førte til en pladekontrakt med Columbia Records.  Et anerkendt navn Billy Joels første album for Columbia blev Piano Man, der foruden at indeholde Captain Jack hittede med titel-nummeret. Yderligere to album fulgte sammen med en del turnevirksomhed. Men først i 1977 slog Joel for alvor igennem med albummet The Stranger, der bl.a. indeholder klassikeren Just The Way You Are. Dette album er til dato solgt i over 10 millioner eksemplarer og udløste i 1978 to Grammys: en for årets plade og en for årets sang. Dette album var også starten på et langt samarbejde med produceren Phil Ramone. I efteråret 1978 udkom efterfølgeren 52ⁿᵈ Street, der solgtes mere end to millioner eksemplarer på en måned. Denne plade fik i 1979 en Grammy for årets album. I 1980 fik Billy Joel sit første nummer 1 hit i USA med "It's Still Rock'n Roll to Me", fra succesalbummet Glass Houses. I 1982 kom Joel til skade i et motorcykeluheld og blev i øvrigt skilt samme år. Det år udgav han det Beatles-inspirerede album "The Nylon Curtain". Albummet "An Innocent Man" fra 1983 opnåede stor succes. Her søgte han, inspireret af bl.a. The Four Seasons, tilbage til rock’n roll-musikkens rødder før The Beatles. Blandt albummets største hits er "Uptown Girl", "Tell Her About It" og "For The Longest Time". Pladen var et frisk pust fra Joel oven på den mere komplekse og kunstnerisk tunge Nylon Curtain-LP, og var delvist inspireret af hans forlovelse med fotomodellen Christie Brinkley. I 1987 skete det, der ifølge Joel selv har været karrierens store højdepunkt, da han som den første vestlige kunstner spillede en serie store koncerter i det tidligere Sovjetunionen. Dokumentaren "A Matter Of Trust" og en liveudgivelse på VHS, LP, MC og CD fulgte i kølvandet. I 1989 fyrede Joel sin tidligere svoger og manager gennem mange år, Frank Weber, og lagde sag an mod ham for bedrageri. Samme år fyrede Joel sit band, der havde spillet med ham lige siden 1973. Kun trommeslageren Liberty De Vito forblev. Pladeproducer Phil Ramone blev udskiftet med Mick Jones fra Foreigner. Joel anlagde endvidere sag mod sin tidligere advokat for bedrageri, men sagen blev afsluttet med forlig, inden den kom i retten. I 1988 lagde Joel stemme til Dodger fra Disneys Oliver & Co., og indspillede vokalen til sangen "Why Should I Worry" fra samme film. Billy Joels studiealbum "Storm Front" fra 1989 blev endnu en stor salgssucces og indeholdt blandt andet nummer 1 hittet "We Didn't Start The Fire". Sangen "Shameless" fra samme album blev også et nummer 1 hit, men først flere år senere da countrysangeren Garth Brooks indspillede en coverversion af den. Det sidste rock-udspil fra Billy Joel kom i 1993 med "River of Dreams", der holdt sit indtog på de amerikanske hitlister som nummer 1, både album og single. "Famous Last Words" er meget passende titlen på sidste nummer på dette sidste pop-rock album fra Billy Joel.  De senere år I sensommeren 1990 spillede Billy Joel en forrygende koncert i Valbyhallen i København. I 1994-1995 efter River Of Dreams-touren afholdt han en lang række "Face to Face"-koncerter med Elton John, og igen omkring 1998. De skulle også have været i Danmark, men koncerten blev aflyst på grund af sygdom. Joel blev i 1994 skilt fra Christie Brinkley og giftede sig i 2004 med 23-årige Katie Lee, som han blev skilt fra i 2010. Siden 1994 har Billy Joel især komponeret klassisk musik, hvilket der er kommet et enkelt album ud af: "Fantasies & Delusions", som toppede de klassiske albumlister i 2001. Siden Joel stoppede med at udgive pop-rock musik, har han blandt andet designet en båd, skrevet en børnebog og spillet koncerter. I 2006 satte han rekorden for flest udsolgte koncerter i legendariske Madison Square Garden, en serie på 12 udsolgte shows og overgik således Bruce Springsteen, som var indehaver af den gamle rekord. I januar 2014 startede han igen en fast serie af månedlige koncerter i Madison Square Garden, og ultimo 2015 vil han have slået sin egen rekord med 24 udsolgte shows. Han skriver ikke længere nyt materiale i rock-genren, sangen "Christmas in Fallujah" fra 2007 undtaget, som blev spillet live.