Frederick Douglass lahir di sebuah perkebunan di Talbot County, Maryland. Ibunya adalah seorang budak dan ketika Frederick lahir, dia juga menjadi seorang budak. Nama lahirnya adalah Frederick Bailey. Dia tidak tahu siapa ayahnya atau tanggal pasti kelahirannya.