Baker underskrev en kontrakt med Aston Villa som 13-årig i 2004 og fik sin debut for Aston Villas akademi i 2007. Han spillede (og spiller stadig) som central forsvarsspiller, dengang sammen med Ciaran Clark i 2007-08-sæsonen. Baker sluttede sæsonen med 1 mål i 23 kampe for Aston Villas akademi og 2 mål i 7 kampe for reserveholdet.  Seniorkarriere Baker blev i 2009 rykket op på Aston Villas seniorførstehold. Den 23. oktober 2009, underskrev Baker en måned lang leje kontrakt med Lincoln City. Lincoln City-manager og tidligere Aston Villa-angriber Chris Sutton gav Baker hans ligadebut på Sincil Bank den 24. oktober 2009 i en 0-0 kamp mod Torquay United. Baker imponerede i Lincoln City, og af den grund blev hans lejekontrakt forlænget til slutningen af 2010 sæsonen (2009-2010). Baker måtte som straf ikke spille Aston Villas League Cup-finale mod Manchester United på Wembley Stadium den 28. februar 2010 efter han forsøgte at sælge sin tildeling af billetter via Facebook. Den dengang 18-årige forsvarsspiller forsøgte at sælge fem billetter til en pris af £200 stykket, men sagde senere, at han fortrød sin opførsel og handling.  Landshold Baker har repræsenteret England på U/19-, U/20- og U/21-niveau. Han fik sin debut for U/19 landsholdet den 18. november 2008, hvor de slog Tyskland 1-0. Han nåede at spille 9 kampe for U/19 og var en del af Englands trup i 2011 i U/20-VM. Han fik sin debut for U/21-landsholdet i 2011 mod Island i Preston.