Affleck blev født i Falmouth, Massachusetts, som søn af Chris Ann (efternavn Boldt), en skolelærer, og Timothy Affleck, en socialarbejder, skolebetjent, automekaniker, bartender og tidligere skuespiller på "Theater Company of Boston". Afflecks storebror er den kendte skuespiller og instruktør Ben Affleck. Affleck er af irsk afstamning. Hans familie flyttede til Cambridge, Massachusetts, og hans forældre blev skilt i 1984, da han var 9 år gammel. Som barn havde Affleck adskillige kæledyr, såsom katte, slanger, marsvin og skildpadder. Affleck gik på George Washington University, men skiftede til Columbia University i New York City, hvor han bestod i fag som fysik, astrologi og western psykologi, alt imens han boede hos sin bedstemor.  Privat Affleck giftede sig med Summer Phoenix, hans kæreste igennem 6 år den 3. juni 2006. Parret blev introduceret til hinanden via Phoenix' bror. Da har sammen to sønner, Indiana August Affleck, som blev født den 31. maj 2004 i Amsterdam og Atticus Affleck , som blev født den 12. januar 2008. Affleck bor i øjeblikket i Los Angeles, Californien sammen med sin familie. Affleck er involveret i flere dyrerettighedsbevægelser såsom PETA og Farm Sanctuary