Han trænede Herning Fremad i 1. division i 1999, og da de fusionerede med Ikast fS og dannede FC Midtjylland, fik han træneransvaret for fusionen. Han rykkede på den første sæson, og klubben fik en god start i den bedste række med en 4.- og 3.-plads. Han blev da også på baggrund af 3.-pladsen kåret som årets træner i sæsonen 2001-02. I 2002 gik turen videre til Esbjerg fB, som han også fik succes med, kulminerende med bronzen i 2004. I årsskiftet 2005/2006 skiftede han til AGF, som overvintrede under nedrykningsstregen. Han skrev under på en treethalvtårig aftale. De rykkede også ned, men kom op igen året efter, og da han forlod dem, lå de nummer 5 i SAS-ligaen ved årsskiftet 2008/2009. Herefter vendte han tilbage til Esbjerg, hvor han var tilknyttet frem til 2011. Efter årene i Esbjerg fB drog han i 2011 videre til FC Vestsjælland. Han overtog holdet, da de spillede i 1.division. Efter sæsonen 2012/13 rykkede klubben op i Superligaen. I deres debutsæson i ligaen (2013/14) førte Ove dem til en flot 9. plads. Efter sæsonen udløb hans kontrakt dog, og hans tid i klubben var slut. Han kom imidlertid ikke til at være arbejdsløs længe, da OB i september 2014 ansatte ham til at redde klubbens eksistens i Superligaen efter en dårlig start på sæsonen. Han reddede klubben, men var efter sæsonen 2014/15s afslutning igen arbejdsløs. Arbejdsløs fik han dog ikke lov til at være længe, da FC Fredericia den 23. juni 2015 offentliggjorde, at Ove var deres nye cheftræner. Efter kun et halvt år på posten kom det frem, at han havde sagt ja til en ny udfordring i Hobro IK. Den 28. november 2016 blev han fyret i Hobro IK, selvom klubben på daværende tidspunkt lå nummer 1 i 1.division. Tidligere i karrieren har han trænet ungdomslandsholdet i Qatar, og han har derfor en international træneruddannelse.  Civilt liv Ove Pedersen er uddannet bankmand.