Allerede fra ungdomsårene spillede O'Leary i Arsenal F.C., og han blev i 1975 tilknyttet klubbens seniortrup. Han spillede for klubben i intet mindre end de efterfølgende 19 år, hvor han opnåede hele 722 kampe for klubbens førstehold, hvilket stadig (pr februar 2009) er klubrekord. Hans debutkamp blev spillet 16. august 1975 mod Burnley. O'Leary opnåede med Arsenal adskillige triumfer. Blandt hans opnåede titler kan nævnes to engelske mesterskaber, tre FA Cup-titler, samt to Liga Cup-titler. I de sidste år af sin karriere i klubben var han dog blevet fortrængt til bænken af de yngre midterforsvarere Tony Adams og Steve Bould. O'Learys kælenavn blandt Arsenals fans var Edderkoppen, på grund af hans lange ben, og hans gode atletiske evner på banen. Efter 19 år i Arsenal og en status som klublegende forlod O'Leary i 1993 klubben og spillede de sidste to år af sin aktive karriere hos Leeds United. På grund af en skade blev hans ophold her dog aldrig nogen succes, og i 1995 valgte han at indstille sin karriere.  Landshold O'Leary spillede igennem 18 år 68 kampe for Irlands landshold, som han debuterede for i 1975 i en kamp mod England. Han var blandt andet med til at føre holdet frem til kvartfinalerne ved VM i 1990 i Italien. Hans enlige mål blev scoret i en kamp mod Tyrkiet.  Trænerkarriere Leeds United blev også O'Learys første klub som manager, som han overtog ansvaret for i 1998, efter først at have være klubbens assisterende manager. Hans tid i klubben var præget af forholdsvis stor succes, ikke mindst på den internationale scene. I 2000 nåede klubben semifinalen i UEFA Cuppen, og året efter semifinalen i Champions League. På grund af den manglende succes i Premier League blev O'Leary dog fyret fra jobbet i sommeren 2002.  Året efter blev han indsat som manager i en anden Premier League-klub, nemlig Aston Villa. I sin tid i klubben var han blandt andet ansvarlig for indkøbene af de danske landsholdsspillere Thomas Sørensen og Martin Laursen. Han nåede dog aldrig at vinde nogen titler med Birmingham-klubben, og i 2006 blev han fyret af klubbens kontroversielle ejer Doug Ellis.