Akdağmadeni, yerleşim yeri olarak XIX. Yüzyılın ortalarında ve idari yetkiye de haiz bir isimli kurşun işletmesi müdürlüğü olarak kurulmuş ve Madenciler nahiyesi diye adlandırılmıştır. İlçemiz tarihi 1815 yılına kadar ormanlık olduğu için bilinmemektedir. İşletmenin şimdiki belediye garajının bulunduğu yere kurulmasıyla; Gümüşhane, Trabzon, Arapgir ve Ahıska’dan gelen işçilerle nüfuz hayli artmış ve 1871 tarihinde ilçe hüviyeti kazanmıştır.
1923 yılında kasaba 1.250 hani iken Rum ve Ermenilerin 1924-1927 yılında Yunanistan’a mübadele suretiyle nakilleri üzerine nüfus miktarı oldukça azalmıştır. Aynı tarihte Yunanistan’dan Selanik’in Kayalar bölgesinden mübadele suretiyle gelen 266 hane Türk kasabaya yerleştirilmiş ise de, bunların bir kısmının başka taraflara göçleri üzerine nüfus eksilmesi uzun yıllar telafi edilememiştir. Yine bu tarihlerde köylerde de mübadele yapılmış, Romanya, Bulgaristan (1951) ve 1935 yılında Yugoslavya’dan gelen 790 hane menkul aile köylere yerleştirilmiştir. Hariçten gelen bu mübadil ve göçmenlerden 2/3’ü yurt içinden başka kazalara göç etmişlerdir. Gelen mübadillerin tütüncü olmaları nedeniyle tütün mıntıkasında yerleştirilmiştir. Bulunan akrabalarının yanlarına gitmek istemeleri tekrar göçmelerine sebep olmuştur.
Akdağmadeni’nin kuruluşu, itibariyle civar ilçelere nazaran uzun bir geçmişe sahiptir. Bağlı bulunduğu Yozgat ili uzun yıllar Bozok Sancağı adi ile anılan ve Kayseri’yi de içine alan sancağın merkezi kazanın şimdiki Çepni köyü olan Karahisar Beyramşah kazasına bağlı göstermektedir. İlçenin merkezi 1815 yılına kadar ormanlık olduğu bugünkü kasabaya bağlı civar Güneyli Mahallesi’nin kasaba içindeki havuzda (Şimdiki Pazaryeri) hayvanları korkarak sulamaya getirdikleri ve çamlığın sıklığından hayvanların zor girdiği söylenmektedir. 1860 yılında Karahisar Beyramşah kazasına bağlı bir nahiye vücuda gelmiş ve Akdağmadeni 1871 yılında da Karahisar Beyramşah kazası inşa edilerek Akdağmadeni nahiyesine kaza teşkilatı kurulmuş ve Yozgat’a bağlanmıştır. Kaza merkezi birkaç ay sonra eski bir nahiye olan Karamağara (Saraykent) köyüne nakledilmişse de 1876 yılında tekrar Akdağmadeni kasabasına gelmiş ve Karamağara köyü de bu kazaya bağlık bir nahiye olarak kalmıştır.
Madenciler nahiyesi olan bu yeni kuruluşun yönetimine sırasıyla; Hasbeldi Hacı Emin Ağa, Arapkirlioğlu Hacı Hüseyin Ağa, Tepedelinli Mehmet Ali Paşa torunlarından Ahmet Efendi (Arnavut Ahmet Efendi) şair ve Hariciye-Dahiliye Nazırlıkları yapmış Akif Faşa torunlarından Rıfat Efendi memur edilmiştir.
Bugün Akdağmadeni’nin bulunduğu Yozgat ili ve havalisi, Milli Mücadele’nin başlarında oldukça sıkıntı çekmiş, 14 Haziran 1920 tarihinde asilerin eline düşmüştür. Kanları pahasına vatanlarına sarılan ve bu yolda şehit olan (düşen) vatandaşlar arasında ilçede Arapkirli’ler diye anılan Mehmet oğlu Tevfik Bey’i zikretmek gerekir. Tevfik Bey, Milli Mücadele’ye iştirak etmiş ve karamağara (şimdi Saraykent) Bucak müdürü iken asiler tarafından 16 Kasım 1920 Cuma günü hunharca katledilerek şehitlik mertebesine ulaşmıştır. Bugün kasabada (Şimdiki Haşim Bey tepesinde) abidesi vardır. Bu tepede yakın yıllara kadar Ramazan Ayı’nda İftar Topu atılırdı.