Faits: A. A._ est entré au service de la gendarmerie du canton de Genève le 1er août 1991. Il a été promu appointé le 1er août 1997 puis nommé au grade de sous-brigadier dès le 1er janvier 2005. Le 5 avril 2007, le Département des institutions du canton de Genève et le Conseil d'Etat ont ordonné, respectivement l'ouverture d'une enquête administrative à l'encontre de A._ et la suspension provisoire de ce dernier avec effet immédiat, sans suppression de son traitement, en raison de l'ouverture d'une enquête pénale contre lui pour lésions corporelles simples aggravées (art. 123 ch. 1 et 2 et al. 2 CP), dénonciation calomnieuse (art. 303 CP) et abus d'autorité (art. 312 CP). Il était reproché à A._ d'avoir frappé le prévenu B._ d'un violent coup de poing au visage dans une salle d'audition en mars 2007, alors que ce dernier avait les poignets menottés dans le dos puis de lui avoir brutalement cogné la tête contre le mur du fond de la salle. Par ailleurs, il était reproché à A._ d'avoir déposé plainte pénale contre B._, affirmant faussement que ce dernier l'avait blessé à la main lors d'une altercation, alors que sa blessure était en réalité consécutive au coup de poing qu'il lui avait asséné. Le 10 juillet 2007, C._, commissaire de police auquel l'enquête administrative avait été confiée, a rendu son rapport d'enquête, dont il ressort qu'en ayant frappé B._ dans une salle d'audition alors que celui-ci était menotté dans le dos et, partant, maîtrisé et incapable de se défendre, A._ a enfreint les ordres de service (OS) 8-A-1, 8-A-1a, 8-A-5 et 1-A-1c. Par arrêté du 2 avril 2008, le Conseil d'Etat a révoqué A._ de ses fonctions de sous-brigadier de gendarmerie. Cette sanction tenait compte notamment d'un avertissement infligé à A._ dans l'affaire dite "X._" à la gare Y._. B. Le 5 mai 2008, A._ a recouru contre cet arrêté devant l'ancienne Commission de recours des fonctionnaires de police et de la prison (CRPP), requérant préalablement la suspension de la procédure jusqu'à droit jugé définitivement dans la procédure pénale. Il a conclu préjudiciellement à la constatation de la nullité de l'avertissement infligé dans le cadre de l'affaire dite "X._". A titre principal, il a sollicité l'annulation de la décision attaquée et sa réintégration, le tout sous suite de frais et dépens. Le 12 décembre 2008, la présidente de la CRPP a informé les parties de la suppression de cette commission à partir du 1er janvier 2009 et de la reprise de la cause par le Tribunal administratif. Par ordonnance du 19 mai 2008, le Procureur général de la République et canton de Genève a condamné A._ à une peine pécuniaire de 150 jours-amendes, à 80 fr. le jour, assortie du sursis avec un délai d'épreuve de trois ans pour lésions corporelles simples aggravées, dénonciation calomnieuse et abus d'autorité. Tant la culpabilité de A._ que sa peine ont été confirmées sur opposition par jugement du Tribunal de police du 6 mars 2009 puis sur recours par arrêt de la Chambre pénale de la Cour de justice du 19 avril 2010. Cet arrêt a été communiqué au Tribunal administratif le 9 juin 2010. Statuant le 5 octobre 2010, le Tribunal administratif du canton de Genève (aujourd'hui: Cour de justice de la République et canton de Genève, Chambre administrative) a rejeté le recours de A._ contre l'arrêté du Conseil d'Etat du 2 avril 2008. C. A._ interjette un recours en matière de droit public dans lequel il conclut à l'annulation de ce jugement et au renvoi de la cause à l'autorité cantonale pour instruction complémentaire et nouvelle décision au sens des considérants. Le Conseil d'Etat conclut au rejet du recours. D. Le 30 mars 2011, A._ a donné sa démission pour le 30 juin suivant. 