Adams lahir di Western Addition of San Francisco, California, dari orang tua kelas atas Charles Hitchcock Adams dan Olive Bray Adams. Anak tunggal, ia dinamai menurut pamannya Ansel Easton. Francisco hancur oleh gempa bumi San Francisco 18 April 1906. Tidak terluka dalam guncangan awal, Ansel Adams yang berusia empat tahun dilempar dengan wajah terlebih dahulu ke dinding taman selama gempa susulan tiga jam kemudian, mematahkan dan melukai hidungnya.