Faits: A. A.a A._, né en 1949, a été engagé le 1er mai 1977 par le Département de la sécurité, de la police et de l'environnement (ci-après: DSPE) du canton de Genève - anciennement nommé département de justice et police, puis département des institutions - en qualité de contrôleur de passeports aéroport-gare. L'intéressé a été nommé à cette fonction par le Conseil d'Etat le 12 novembre 1980. Il a ensuite été promu par le Conseil d'Etat, à compter du 1er juillet 1981, à la fonction de contrôleur police frontière puis, à compter du 1er juillet 1991, à celle de chef de groupe police frontière. Il était soumis à la loi générale relative au personnel de l'administration cantonale du 15 octobre 1987 et à son règlement d'application du 7 décembre 1987 ainsi qu'à la loi concernant le traitement et les diverses prestations alloués aux membres du personnel de l'Etat et des établissements hospitaliers du 21 décembre 1973 (ci-après: LTrait) et à son règlement d'application du 17 octobre 1979 (ci-après: RTrait). Le 9 janvier 1997, la police frontière (PF) a été intégrée au sein du détachement des gardes d'aéroport (DGA), lesquels étaient armés pour leur service. Leurs missions étaient décrites aux art. 2 et 3 du Règlement concernant le détachement de gardes d'aéroport du 29 juin 1988 (RDGA). L'intégration des membres de la PF dans le détachement des gardes de l'aéroport a fait l'objet d'une modification de ce règlement, lequel a été complété, le 18 décembre 1996, par une disposition transitoire (art. 12) qui précisait que les contrôleurs de frontière et les chefs de groupe affectés auprès du service de la PF conservaient leur statut et ne bénéficiaient pas des soins médicaux gratuits. Il était également mentionné que les collaborateurs de la police frontière n'étaient pas armés et qu'ils n'assuraient qu'une partie des tâches attribuées aux gardes d'aéroport. A.b En 2001, une profonde restructuration de la police de l'aéroport a notamment conduit à la création de la police de la sécurité internationale (ci-après: PSI), laquelle regroupe le détachement des gardes de l'aéroport (DGA) et les gardes de sécurité diplomatiques (GSD). Le statut des agents de la PSI a fait l'objet d'un règlement spécifique (Règlement relatif à la police de la sécurité internationale, du 13 juin 2001 [RPSI]; RSG F 1 05.21), entré en vigueur le 15 juillet 2001, lequel a remplacé le RDGA du 29 juin 1988. A cette époque, le DSPE a proposé aux membres de la PF de devenir agents de la PSI et subordonné cette intégration à une évaluation psychologique et à la prise de cours de tir, les agents de la PSI étant armés pour leur service. Seuls deux membres de la PF ont accepté la proposition et ont suivi avec succès la formation nécessaire pour devenir agent de la PSI. A._ n'a, quant à lui, pas donné suite à cette proposition. A.c Une refonte importante de la loi sur la police du 26 octobre 1957 (LPol; RSG F 1 05) a été adoptée le 27 août 2004 et est entrée en vigueur au 1er janvier 2005. Se fondant sur les art. 43A ss de cette loi, le Conseil d'Etat a adopté une nouvelle version du RPSI le 16 février 2005, qui est entré en vigueur rétroactivement au 1er février 2005. Comme dans son ancienne teneur, cette nouvelle version prévoit une disposition transitoire (art. 13), aux termes de laquelle les contrôleurs de frontière et les chefs de groupe affectés auprès du service de la PF sont intégrés à la PSI. Ils conservent toutefois leur statut antérieur et n'assurent que les tâches visées à l'article 2, lettres b et c du règlement. A._ ainsi que cinq autres fonctionnaires faisant encore partie de la PF ont demandé au Conseil d'Etat leur intégration pleine et entière dans la PSI pour pouvoir bénéficier du même statut que les agents PSI. Une procédure d'intégration a alors été mise en place par le DSPE. Le passage d'une visite médicale complète avec évaluation psychologique ainsi qu'une formation de tir ont été exigés des candidats. A._ ayant fait l'objet d'un préavis «très peu favorable» de la part du médecin-conseil de l'Etat en raison, notamment, de son obésité et d'un passé médical important, son intégration à la PSI a été refusée par le DSPE, sans qu'aucun recours ne soit ouvert contre cette décision. A._ a contesté ce refus devant le DSPE. Le 22 janvier 2009, il a ouvert une action devant le Tribunal administratif du canton de Genève (aujourd'hui: Chambre administrative de la Cour de justice), demandant à bénéficier des mêmes avantages que les agents de la PSI, soit notamment le paiement de ses primes d'assurance-maladie ainsi qu'une indemnité pour inconvénients de service, pour les cinq dernières années, correspondant à un montant total de 71'921 fr. 65 plus intérêts à 5 % l'an. Par arrêt du 3 novembre 2009, le Tribunal administratif a déclaré cette action irrecevable, en raison de l'absence de décision préalable prise par le DSPE. Par décision du 23 décembre 2009, le DSPE a rejeté les prétentions de A._. B. A._ a recouru contre cette décision devant le Tribunal administratif en concluant à son annulation, à ce que l'Etat de Genève soit condamné à lui payer la somme de 71'921 fr. 65 avec intérêts à 5 % dès le 30 juin 2006, ainsi qu'à l'octroi d'une indemnité de procédure. Le 5 février 2010, A._ a démissionné de ses fonctions pour le 31 décembre 2010. Par jugement du 2 novembre 2010, le Tribunal administratif a rejeté le recours. C. A._ interjette un recours en matière de droit public en concluant à l'annulation du jugement attaqué. Principalement, il demande la constatation de son droit à diverses prestations prévues par la loi sur la police, et la condamnation de l'Etat de Genève à lui payer la somme de 71'921 fr. 65 avec intérêts à 5 % dès le 30 juin 2006, sous réserve d'amplification, le tout sous suite de frais et dépens. Subsidiairement, il conclut au renvoi de la cause à la juridiction cantonale pour qu'elle l'instruise sous l'angle du principe de l'égalité de traitement qu'il avait invoqué dans la procédure cantonale. Le Conseil d'Etat conclut au rejet du recours. 