Clayton, ibukota kabupaten Rabun County, didirikan pada 13 Desember 1823. Kota menghormati Hakim Augustin S. Clayton, seorang ahli hukum dan anggota kongres terkemuka. Clayton adalah rumah bagi banyak penulis regional. Publikasi paling terkenal adalah seri Foxfire yang diakui secara nasional, kumpulan sejarah lisan yang dikumpulkan oleh siswa sekolah menengah setempat.