Şehrin adı ile ilgili iki rivayet vardır. Birincisi;M.ö.700'lü yıllarda Merzifon'un 4 km. doğusunda bugün Marınca diye anılan köyün bulunduğu yerde bölge valisi Barsevinç, kendi ismini taşıyan bir kasaba inşa ettirmiştir. Bu kasabanın adı zamanla Marsevinç, Mersuvan ve Merzifon şeklini almıştır.
İkinci rivayete göre; M.ö.222'de bölge valisi 5. Mihridat tarafından bugünkü Merzifon'un yerinde Merzpond adında bir kale inşa ettirilmiş ve adı Merzban, Merzifon şeklinde değişmiştir. "Merz" kelimesi Farsça'da "sınır" mahalsükun, "fon" kelimesinin de Pont'un arapçalaştırılmış hali olduğu, dolayısıyla "Merzifon" kelimesinin "Pond karargahı" anlamına geldiği açıklanmıştır.
Bu verimli topraklar kimleri ağırlamamışkimlere yurt olmamış ki... Kalkalotik çağdan başlayan höyükler (yerleşmeler) bunun en önemli kanıtıdır.
Yediler namı ile anılan gölleri bereketli toprakları ile avcılık ve tarıma uygun bu ova yaklaşık 7 bin sene önce de insanlara yurt olmuştur. Karadeniz sahiline ve orta Anadolu'ya giden yollar Merzifon'da kesişmektedir. Bu nedenle coğrafyacı ve tarihçi Strabon bu bölgeyi "Bin köy"; bölgesi olarak tanımlamıştır.
Strabon'un "Bin köy"; olarak belittiği bölgede yapılan arkeolojik araştırmalarda yüzlerce höyük ve yerleşim yerinin varlığı saptanmıştırr. Bu höyüklerden elde edilen seramik ve buluntulara göre Merzifon tarihinin M.Ö. 5500'lere kadar uzandığı anlaşılmıştır.
Bu höyüklerde ilçemiz Ortaova köyü Onhoroz Büyük Küçük Küllük höyükleri (tepeleri) ve Hayrettin köyü höyükleri en önemli Kalkolotik Esli tunç yerleşmeleridir. Merzifon bölgresinin Hitit döneminde de başkent Hattusaş'a sınır olması nedeni ile önemli bir merkez ve yerleşim yeri olduğu görülmektedir. Bu dönemde (M.Ö. 1700-700) bölgeden iki adet tabii yol geçmektedir. Bunlar:
Yine bu dönemde Merzifon'a bağlı Oymaağaç köyü önemli bir Hitit yerleşim birimidir.
Hitit'ler çağında Hitit ticaret yolunun güvenliği ve Kaşka saldırılarına karşı sınır karakolu niteliğinde bugünkü Merzifon şehrinin ilk çekirdeği olan bir kale inşa edilmiştir. Anadolu'da görülen Karanlık Dönemde (M.Ö.1200-700) deniz kavimlerinin göçü ile Hititler'in bu bölgede hakimiyetleri son bulmuştur.
M.Ö. 600'lerde Anadolu'ya Kafkaslardan gelen Kimmer ve İskit akınlarıyla birlikte Anadolu'da Frig siyasi egemenliği son bulmuştur. Merzifon ve Gümüşhacıköy civarında İskit hakimiyetinin çok kısa süreli de olsa varlığı bulunmaktadır. Bu döneme ait buluntular Gümüşhacıköy - İmirler köyündeki bir mezardan çıkarılmış olup Amasya müzesinde sergilenmektedir.
Frig döneminden sonra Anadolu'da ve Merzifon civarında (M.Ö .6 ve 4. Yüzyıllarda) Pers hakimiyeti görülmektedir. Anadoludaki Pers hakimiyetine M.Ö. 333 Yılında yapılan İssos Savaşı ile son verilmiştir.
Egemen olan Amasya'yı kendilerine başkent yapan Pontos devleti kurulmuştur. Başkentin Amasya olması ile birlikte Merzifon'da önemli ticaret merkezi olmuştur. Merzifon askeri savunma ve ticaret yolu güvenliği açısından önemli bir yer tutmuştur. Yaklaşık 200 Yıllık Pontos (Mitridatlar) dönemi M.Ö. 47'de Roma Generali Sezar ile Pontos devlet kralı II.Pharnakes arasında antik Zile (Zela) ile Amasya arasındaki Bacul köyünde yapılan savaşta Pontos askerleri yenilmiş ve Pontos devleti hakimiyeti zayıflamıştır. Bu tarihten itibaren bölgede Roma hakimiyet dönemi başlamıştır.
Roma İmparatorluğu 395'te Doğu ve Batı olmak üzere ikiye ayrılmış Merzifon ve civarı Doğu Roma İmparatorluğu (Bizans) sınırları içerisinde kalmıştır.
12. yüzyılda Selçuklu egemenliğine (II. Kılıç Arslan zamanı) giren Merzifon şehri Anadolu'nun İlhanlılar hakimiyetine girmesiyle birlikte 14. Yüzyılda İlhanlı hakimiyetine girmiştir. Bu dönemde Merzifon ve havalisine yönetici olarak Moğol kökenli valiler tayin edilmiştir. İlhanlı Hükümdarı Ebu Sait Bahadırhan bu bölgenin idaresini Moğol Beyi Emir Çobanoğlu Demirtaş'a vermiştir. İlhanlı yönetiminden sonra bölge Eratna Beyliği hakimiyetime girmiştir (1335 - 1341). Eratna Beyi Şadgeldi Paşa Amasya ve Merzifon civarını da idaresi altına almışdaha sonra Şadgeldi Paşa'nın oğlu Emir Ahmet ile Kadı Burhaneddin arsında bir dizi savaşlarda sürekli el değişmiştir.
1353-1396 tarihleri arsında Merzifon ve civarı Türkmen Beylerinden Taşanoğullarının hakimiyetinde kalmıştır. Taşanoğulları Hasan ve Ali Bey zamanında 1393 yılında Yıldırım Beyazid'in Amasya'yı işgal etmesiyle birlikte yaklaşık 3 yıl süren mücadele sonucunda Merzifon bölgesi de Osmanlı hakimiyetine girmiştir.
I.Dünya savaşı'ndan sonra Merzifon. 15 Mart 1919'da İngilizler tarafından işgal edildi. İşgal altındaki Merzifon'da 16 Haziran 1919'da büyük bir miting düzenleyerek İzmir'in işgali protesto edildi. O sırada Amasya'da bulunan Mustafa Kemal Paşa mitingi bir telgrafla İstanbul'daki Harbiye Nezareti'ne bildirdi. Merzifonluların işgal boyunca sürdürdükleri şuurlu tepki sonucu İngilizler 27 Eylül 1919'da Merzifonu terkettiler.