Faits: A. A.a L._ a travaillé depuis le 1er décembre 1997 au sein du Département V._ puis, suite à une réorganisation de celui-ci, au sein du Département X._. Dans ce cadre, il a assumé la fonction de directeur administratif et financier du 1er décembre 1997 au 31 mars 2003 et de directeur opérationnel au sein de la Direction Y._ du 1er avril 2003 au 1er janvier 2006. A.b Dans une lettre du 10 octobre 2005, C._, alors directeur des finances et des services généraux du Département X._, s'est plaint auprès de la responsable des ressources humaines du comportement de L._ au sein de la Direction Y._ et s'est enquis des "démarches possibles en la matière". A.c Au début de l'année 2006, le Conseiller d'Etat en charge du Département X._ a décidé de simplifier l'organisation des services transversaux de son département. La Direction Y._ a ainsi été divisée en quatre unités de prestations spécialisées, à savoir le Service financier, le Service du contrôle interne, le Service des ressources humaines et le Service des systèmes d'information et d'organisation. La direction de ces services a été confiée respectivement à L._, C._, J._ et M._. A.d A l'issue d'un entretien ayant eu lieu le 2 février 2007 avec le Conseiller d'Etat et le Secrétaire général du Département X._ au sujet de tensions avec son collègue C._, L._ s'est vu proposer un nouveau poste de travail en tant que directeur du contrôle interne du Département Z._, avec l'assurance du maintien de sa rémunération. Dans ses déterminations subséquentes, L._ a indiqué que cette proposition ne correspondait pas à ses aspirations professionnelles. En revanche, il a proposé deux alternatives, à savoir une indemnité de départ correspondant à dix-huit mois de salaire couplée d'une aide au placement mandatée auprès d'une société externe, ou une proposition de poste d'enseignant en sciences économiques dans un établissement secondaire genevois avec une indemnisation durant sa formation pédagogique; la première solution avait toutefois sa préférence. Le 5 mars 2007, par l'intermédiaire de son avocat, L._ a écrit au Secrétaire général du Département X._ pour lui faire part de sa situation. Depuis l'entretien du 2 février 2007, le ton adopté à son endroit par le Secrétaire puis par le Conseiller d'Etat s'était durci pour ensuite dépasser les bornes de l'acceptable. La possibilité de supprimer son poste avait été évoquée s'il refusait l'offre de changement de fonction. En revanche, les propositions alternatives qu'il avait formulées n'avaient reçu aucune suite. Le 23 février 2007, il lui avait été signalé qu'une procédure de licenciement serait ouverte s'il refusait la proposition de changement de poste. Un ultimatum lui avait en outre été imparti jusqu'au 26 février pour se décider. Ces pressions l'avaient contraint à se mettre en arrêt maladie à partir de cette date. Au vu de la tournure des événements, notamment de l'empressement de sa hiérarchie à se défaire de ses services, il se déclarait prêt à quitter sa fonction moyennant une indemnité correspondant à dix-huit mois de traitement, soit un montant inférieur au montant maximal auquel il pouvait prétendre en vertu de la loi, compte tenu de l'absence de motif de licenciement objectivement fondé. Dans sa réponse du 22 mars 2007, le secrétaire général a informé L._ que, contrairement à ce que ce dernier soutenait, le Département X._ avait des reproches à lui adresser: l'intéressé rencontrait d'importantes difficultés relationnelles avec un certain nombre d'autres collaborateurs du département; il faisait preuve d'un investissement et d'une maîtrise insuffisants dans certains dossiers et il montrait une forte tendance à se plaindre de façon systématique, tant auprès de ses supérieurs que de ses collaborateurs. Le Département X._ était convaincu que L._ disposait de compétences certaines en matière de finances publiques, mais également en matière de contrôle interne, raison pour laquelle le poste de directeur du contrôle interne du Département Z._ lui avait été proposé. L'intéressé avait refusé le poste par convenance personnelle. L'Etat de Genève n'envisageait pas la fin des rapports de travail de L._, la proposition d'un départ négocié émanant de l'intéressé lui-même. Exceptionnellement, il pourrait être accédé à sa demande, pour autant que l'indemnité soit fixée sur la base des règles applicables en cas de suppression de poste mais non pas de celles prévalant en matière de licenciement contraire au droit. Il était par ailleurs inexact que l'ouverture d'une procédure de licenciement ou encore la suppression de son poste lui avait été signalée. Cette position pourrait toutefois être revue si son attitude de blocage persistait. Les propositions alternatives de L._ étaient irréalistes. Il serait néanmoins envisageable de lui confier un poste de directeur administratif et financier au sein d'une des directions générales du Département Z._, moyennant des rocades internes préalables. Pour lancer le processus, il fallait que l'intéressé confirme son accord de principe. Sa rémunération serait inchangée, même si le poste se situait dans une classe de fonction inférieure. Le traitement serait en revanche bloqué jusqu'au moment où le niveau salarial fixé par la nouvelle classe dépasserait le salaire actuel. Le 4 avril 2007, L._ a contesté les reproches qui lui étaient adressés. Les postes proposés étaient en classe 24 et il ne pouvait admettre une rétrogradation de quatre classes sans motif objectif. Il avait déjà un traitement supérieur au maximum de cette classe, ce qui empêcherait toute évolution de son salaire par le jeu des annuités. Il se déclarait perplexe face aux motivations qui poussaient le Département X._ à se séparer de lui, ce d'autant plus, affirmait-il, que son successeur semblait déjà désigné dans la personne d'un haut cadre de l'Université transféré à la suite d'un scandale au sein de cette institution. Le lendemain, le Secrétaire général a répondu à L._ que celui-ci connaissait parfaitement les reproches qui lui étaient adressés. Au-delà de cette insatisfaction, le Département X._ avait remarqué que l'intéressé ne semblait pas particulièrement heureux dans son poste, de sorte qu'un changement professionnel lui serait bénéfique. Toutefois, en dépit de l'offre d'un poste de premier ordre et directement rattaché au Secrétaire général en tant que directeur du contrôle interne du Département Z._, L._ refusait d'entrer en matière sur une réaffectation. Quant aux autres postes proposés en classe 24, ils n'étaient qu'une alternative au premier poste refusé. Dans la mesure où L._ n'en voulait pas non plus, le Département X._ en tirerait les conséquences, précisant qu'il serait vain de poursuivre des recherches en vue d'une réaffectation au sein de l'Etat de Genève. A.e A la demande du Secrétaire général, une entrevue a eu lieu le 23 novembre 2007 avec L._ en vue de permettre à ce dernier d'exercer son droit d'être entendu dans le cadre d'une procédure de licenciement que le Département X._ envisageait d'initier. La responsable des ressources humaines ainsi que le conseil de L._ étaient également présents. A cette occasion, le Secrétaire général a indiqué que si les connaissances de L._ en matière de finances publiques n'étaient pas en cause, ses compétences relationnelles et son investissement personnel étaient très largement insuffisants en regard du comportement que l'on était en droit d'attendre d'un cadre dirigeant occupant la fonction de directeur des finances. L._ avait rencontré des difficultés relationnelles peu après son engagement au sein de l'ancien Département V._, notamment avec le précédent Secrétaire général, le directeur de l'Office E._, le directeur de F._ ou encore le directeur de l'Office T._. Après son changement d'affectation comme directeur opérationnel au sein de la Direction Y._, les relations entretenues avec C._ étaient devenues exécrables. En particulier, l'agressivité de L._ était inacceptable et avait rendu le climat de travail difficilement supportable pour les autres collaborateurs de la Direction Y._. En restructurant celle-ci et en attribuant à L._ un domaine de compétence totalement autonome de celui de C._, le Département X._ avait escompté un changement fondamental d'attitude de L._, ce qui lui avait été signalé au cours d'un entretien au mois de janvier 2006. Or, contrairement aux attentes, l'attitude de ce dernier à l'égard de son collègue C._ ne s'était pas fondamentalement modifiée. La collaboration entre le service financier et le service du contrôle interne s'était avérée particulièrement mauvaise et diverses plaintes avaient été formulées à ce sujet. L'intéressé se complaisait en outre dans un mode plaintif alors qu'il lui incombait d'apporter des propositions de solutions aux problèmes se présentant et de motiver son équipe malgré les difficultés rencontrées. Il présentait aussi des carences dans la prise en charge autonome des dossiers, ce qui avait par exemple amené le Secrétaire général à rédiger lui-même l'exposé des motifs du projet de budget 2007. Enfin, les propositions de reclassement avaient systématiquement été refusées alors qu'il s'agissait de postes convenables, avec une rémunération garantie à son niveau actuel. L._ a contesté l'intégralité des griefs évoqués et sollicité un délai pour pouvoir s'exprimer par écrit, lequel lui a été accordé. Dans le délai imparti, L._ s'est déterminé par écrit. Au sujet de son investissement personnel et de la prise en charge autonome des dossiers, il a relevé que dès janvier 2006, il avait repris la direction des services financiers dont les tâches avaient augmenté de façon exponentielle alors que les effectifs avaient été réduits. La nouvelle structure départementale avait fait l'objet d'un très faible encadrement de la part de sa hiérarchie. Il avait ainsi dû déléguer certains dossiers, notamment la rédaction de l'exposé des motifs du budget 2007, ce que ses supérieurs savaient. Sur le plan relationnel, il n'avait eu que des divergences de vues d'ordre professionnel et technique avec les directeurs de l'Office E._, de F._ et de l'Office T._, lesquelles remontaient de surcroît à 2003. Il était erroné de prétendre qu'il était autonome de C._ puisque celui-ci paralysait régulièrement ses services en collaborant de manière insuffisante. Il n'avait par ailleurs jamais fait l'objet d'un avertissement ou d'un blâme. Ce n'était qu'au début de mois de février 2007, après son refus des propositions de changement de fonction avec rétrogradation, que des griefs avaient commencé à être articulés à son encontre. Le certificat de travail intermédiaire émis le 2 février 2007 démontrait que les reproches dont il faisait l'objet étaient infondés. Un départ négocié lui avait en outre été proposé moyennant le versement d'une indemnité calculée sur la base des règles applicables en cas de suppression de poste. A.f Le 17 décembre 2007, le Conseil d'Etat a pris un arrêté par lequel il a mis fin aux rapports de service de L._ avec effet au 31 mars 2008. B. L'intéressé a recouru contre cette décision devant le Tribunal administratif (à partir du 1er janvier 2011: Cour de justice du canton de Genève, Chambre administrative), en concluant principalement à ce qu'il fût constaté que la résiliation de ses rapports de service était contraire au droit et à sa réintégration dans ses fonctions. Subsidiairement, il a demandé que l'Etat de Genève lui verse l'indemnité maximale prévue à l'art. 31 al. 3 de la loi générale relative au personnel de l'administration cantonale, du pouvoir judiciaire et des établissement publics médicaux du 4 décembre 1997 (LPAC). La juridiction cantonale a entendu les parties en audience de comparution personnelle le 2 juin 2008. Elle a en outre tenu quatre audiences d'enquêtes en présence des parties, au cours desquelles elle a entendu plusieurs témoins (les 16 et 18 septembre, 27 octobre et 9 novembre 2008). Après avoir donné aux parties la possibilité de se déterminer sur les comptes rendus d'audience, le tribunal administratif a rejeté le recours, par jugement du 23 mars 2010. C. L._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il conclut à ce qu'il soit constaté que son licenciement est dénué de motif fondé et au renvoi de la cause à l'autorité précédente pour qu'elle statue sur le montant de l'indemnité due pour licenciement contraire au droit. L'Office du personnel de l'Etat de Genève (OPE) a conclu au rejet du recours. 