Paul Simon og Art Garfunkel voksede begge op i Queens og var klassekammerater på Forest Hills High School. I 1957 turnerede de rundt under navnet Tom and Jerry, og deres første professionelle indspilning blev "Hey Schoolgirl" fra 1955. Efter at have skrevet pladekontrakt med Columbia udkom deres første album i oktober 1964. Det havde titlen Wednesday Morning, 3 A.M.og var en lidt blandet affære med sange skrevet af Bob Dylan, Ian Campbell og Paul Kane. Albummet vandt ikke for alvor genklang. Succesen kom først to år senere, i januar 1966, med albummet Sounds of Silence. Særligt populære blev titelnummeret, som også havde figureret på debutalbummet og "We've Got a Groovy Thing Goin'". Samme år udsendte duoen albummet Parsley, Sage, Rosemary and Thyme med den populære single "Scarborough Fair"/"Canticle". Succesen blev to år senere, i 1968, fulgt op  af Bookends, det mest helstøbte Simon & Garfunkel-album med sange som "Mrs. Robinson" og "America". I 1969 udsendtes singlen "Bridge Over Troubled Water", der var med på albummet med samme navn, der sendtes på gaden i 1970. Det blev gruppens sidste album. Siden er Simon & Garfunkel flere gange blevet genforenet, mest kendt er koncerten i 1981 i Central Park, der udsendtes som live-dobbeltalbum med titlen The Concert in Central Park.