Adams sinh ra ở Western Addition của San Francisco, California, trong gia đình thuộc tầng lớp thượng lưu đặc biệt là Charles Hitchcock Adams và Olive Bray Adams. Là con một, anh được đặt tên theo người chú của mình là Ansel Easton.an Francisco đã bị tàn phá bởi trận động đất ở San Francisco ngày 18 tháng 4 năm 1906. Không bị thương trong lần rung lắc ban đầu, cậu bé Ansel Adams, bốn tuổi, đã bị ném trực diện vào bức tường vườn trong một cơn dư chấn ba giờ sau đó, làm gãy và sẹo ở mũi.