Den politiske karriere begyndte i 1979, da Jan Boye meldte sig ind i Konservativ Ungdom og Konservative Studerende. Fra 1985 til 1989 var han formand for Konservative Studerende i Odense. I 1989 blev han opstillet til Fyns Amtsråd, hvor han sad fra 1990 til 2006. Fra 1994 til 2001 var han viceamtsborgmester. Fra 1997 var han spidskandidat for Konservative, og fra 1998 til 2001 var han formand for den konservative gruppe i amtsrådet. Han blev amtsborgmester fra 1. januar 2002, men skiftede i 2005 til lokalpolitik og stillede op som borgmesterkandidat i Odense Kommune. Med 33.000 personlige stemmer ved kommunalvalget i 2005, blev han 1. januar 2006 den første borgerlige borgmester i Odense Kommune siden 1937. Ved kommunalvalget i 2009 tabte han borgmesterposten igen og blev herefter rådmand for By- og Kulturforvaltningen.  Rejsen til Athen Jan Boyes første tid som borgmester var præget af den såkaldte Athen-tur, da det kom frem at en tur til Athen med andre fynske borgmestre i påsken 2006 samlet havde kostet 87.000 kroner. Foranlediget af artikler i Fyens Stiftstidende den 23. oktober og 24. oktober 2006, besluttede det daværende statsamt at tage sagen vedrørende en række fynske politikeres, herunder borgmesteren fra Odense Kommune, tur til Athen i april 2006 op af egen drift. Statsforvaltningen udtalte, at der ikke var hjemmel i lovgivningen til, at Odense Kommune kunne afholde udgifterne på 9.800 kroner til rejse og ophold mv. Statsforvaltningen mente endvidere, at der ikke var grundlag for at antage, at kommunen havde handlet i strid med lovgivningen i forbindelse med afholdelse af udgiften på 12.875 kroner for en middag i Athen. Jan Boye tog ikke ovenstående til efterretning, idet han i 2009 havde ansvaret for endnu et kommunalt overforbrug i forbindelse med afslutningen af Odense kommunes budgetforhandlinger. Det kom til udtryk gennem lovstridig overskridning af det maksimale beløb for offentligt ansattes fortæring i forbindelse med møder mv.  Islamisk Trossamfund Det vakte opsigt, da Jan Boye den 10. oktober 2008, valgte at tale til fredagsbønnen med Islamisk Trossamfund i moskeen på Ørbækvej i Odense. Besøget i moskeen blev kritiseret af både Enhedslisten og Dansk Folkeparti i Odense Byråd, mens der var ros fra den amerikanske ambassadør James P. Cain. Den 13. november meddelte Dansk Folkepartis mandat i Odense Byråd, viceborgmester Alex Ahrendtsen, at et hidtil fast samarbejde med Jan Boye nu måtte afbrydes som en konsekvens af sagen.