Torsten Hesselbjergs tjenestebil blev i maj 2006 filmet af en trafikant på motorvejen mellem Sorø og Ringsted. Optagelsen viste angiveligt, at Hesselbjergs bil blev ført med en hastighed, der væsentligt oversteg det tilladte. Optagelsen blev sendt til Ekstra Bladet, der offentliggjorde denne den 3. maj 2006. Ifølge Ekstra Bladets beregninger dokumenterede optagelsen, at bilen var blevet ført med en gennemsnitshastighed på 170 km/t over den målte strækning. Udover det opsigtsvækkende i, at landets Rigspolitichef var blevet filmet under de givne omstændigheder, påkaldte sagen sig endvidere betydelig interesse som følge af, at politiet i første omgang afviste at efterforske sagen under henvisning til, at videoen kunne være forfalsket, hvorimod politiet anvendte betydelige ressourcer på at efterforske, hvem der havde fulgt efter bilen og foretaget optagelsen, da politiet hurtigt slog fast, at den optagende billist havde foretaget hastighedsoverskridelser. Om føreren af Hesselbjergs køretøj konkluderede Rigspolitiets færdselsafdeling hurtigt, at kørslen var sket med en gennemsnitshastighed på 147,78 km/t på (en del af) strækningen, men Statsadvokaturen meddelte kort tid efter hændelsen, at der ikke ville blive rejst tiltale mod chaufføren i Hesselbjergs tjenestebil. I i juli måned 2006 blev originaloptagelsen imidlertid overleveret til politiet, hvorefter politiet genoptog efterforskningen. Efter en langstrakt efterforskning på mere end et halvt år, opgav anklagemyndigheden dog at rejse tiltale mod Hesselbjergs chauffør under henvisning til bevisets stilling. Det lykkedes imidlertid politiet at finde frem til den person, der ejede den bil, der havde kørt efter Hesselbjerg under optagelsen, og som politiet ønskede at sigte for færdselslovovertrædelser. Ejeren nægtede imidlertid at oplyse, hvem der havde ført bilen på optagelsestidspunktet, hvorefter ejeren fik en bøde for at nægte at oplyse dette. Sagen endte således med, at Hesselbjerg og dennes chauffør slap for tiltale, hvorimod anmelderen af hastighedsoverskridelsen modtog en bøde.  Sagen, og den betydelige medieinteresse, sled en del på Hesselbjergs offentlige image. Hesselbjergs offentlige image led yderligere et knæk, da gratisavisen 24timer i oktober måned 2008 afslørede, at Hesselbjerg i tilknytning til en tjenesterejse havde holdt nogle dages ferie i Rio de Janeiro, og – i strid med reglerne om rejsegodtgørelse – havde ladet skatteyderne betale for også den private del af opholdet. Hesselbjerg afviste i første omgang kritikken, men efter en betydelig presseomtale besluttede Hesselbjerg sig imidlertid for at tilbagebetale de hævede beløb. 24timer kunne imidlertid kort tid efter afsløre, at der var rod i rejseafregningerne i 4 ud af 5 andre tjenesterejser, hvilket fik Hesselbjerg til at love at tilbagebetale beløb hævet i strid med reglerne. Sagen fik betydelig bevågenhed også blandt de politiske partier, og Rigsrevisionen blev instrueret om at iværksætte en undersøgelse af Hesselbjergs rejsebilag.  Sideløbende med sagen om rejsebilagene havde der i offentligheden været en omfattende debat om kvaliteten i implementeringen af den af Folketinget vedtagne politireform, og der var i den forbindelse rejst kritik af Hesselsbjergs ledelse, ligesom det havde vakt forbløffelse, da Hesselbjerg i usædvanlig hårde vendinger angreb personerne bag en kritisk rapport fra Copenhagen Business School. Kritikken kulminerede, da justitsministeren den 11. december 2008 valgte at afskedige Hesselbjerg. Efter opsigelsen offentliggjorde Rigsrevisionen den 22. januar 2009, at Hesselbjerg i flere tilfælde havde foretaget "væsentlige overskridelser af hoteldispositionsbeløbet, uden at der foreligger begrundelse herfor", hvilket Rigsrevisionen ikke fandt helt tilfredsstillende. Rigsrevisionen konkluderede dog også, at "rigspolitichefen i al væsentlighed følger tjenesterejsereglerne, men at der ... er konstateret tilsvarende dokumentationsmæssige svagheder".