Affleck blev født i Falmouth, Massachusetts, som søn af Chris Ann (efternavn Boldt), en skolelærer, og Timothy Affleck, en socialarbejder, skolebetjent, automekaniker, bartender og tidligere skuespiller på "Theater Company of Boston".