Faits: A. Selon l'art. 158 de la Constitution de la République et canton de Genève du 24 mai 1847 (RS/GE A 2 00), l'approvisionnement et la distribution d'eau et d'électricité sont un monopole public exercé par les Services industriels de Genève (SIG), qui sont un établissement de droit public autonome, doté de la personnalité juridique. L'organisation des SIG est réglée dans la loi sur l'organisation des Services industriels de Genève du 5 octobre 1973 (LSIG RS/GE L 2 35). Selon l'art. 6 LSIG, l'administration de l'établissement est confiée à un Conseil d'administration dont les membres sont nommés à raison de : a) 1 membre de chaque parti représenté au Grand Conseil, désigné par ce dernier; b) 4 membres, dont un conseiller d'Etat, par le Conseil d'Etat; c) 4 membres par le Conseil municipal de la Ville de Genève; d) 1 membre choisi en son sein par le Conseil administratif de la Ville de Genève; e) 3 membres par les conseillers municipaux des autres communes; f) 4 membres faisant partie du personnel des SIG. Les administrateurs sont nommés pour quatre ans (art. 10 LSIG). Ils sont rémunérés (art. 15 al. 4 LSIG). Le 20 décembre 2006, le Conseil d'Etat a arrêté la composition du Conseil d'administration des SIG pour la période du 1er janvier 2007 au 31 décembre 2010. Parmi les sept membres désignés par le Grand Conseil figurait S._, député, représentant le Mouvement des citoyens genevois (MCG), dont il est par ailleurs le président. B. B.a Le 28 juin 2007, lors d'une séance du Conseil d'administration des SIG, S._ a souhaité connaître le montant des boni distribués à la direction générale par l'établissement. Après une discussion, le président du Conseil d'administration, M._, s'est engagé à répondre à S._, de manière transparente, à condition que celui-ci formule ses demandes clairement et par écrit. Le 9 juillet 2007, S._ et un autre député ont déposé devant le Grand Conseil une proposition de résolution intitulée «SIG-Monopole d'Etat et les millions de francs de Bonus payés à la direction générale sur le dos des consommateurs qui n'ont d'autre choix d'approvisionnement!». Le Conseil d'Etat était invité «à rendre un rapport détaillé (...) sur le montant exact des bonus versés à l'ensemble du personnel des SIG pour les années 2000 à 2006 et les montants prévus ou payés en 2007». Cette intervention a été largement relayée dans la presse. Parallèlement, S._ a dénoncé à la Cour des comptes le régime des boni, exorbitants à ses yeux, versés aux membres de la direction générale et au personnel des SIG. Le 12 juillet 2007, S._ a adressé au président du Conseil d'administration une lettre par laquelle il souhaitait obtenir le détail des boni attribués aux employés et à la direction générale des SIG. Le président a répondu le 22 août 2007 que le montant total versé à ce titre en 2006 était de 6'500'000 fr., dont 330'000 fr. aux membres de la direction générale. Il précisait que la «validation» des montants attribués individuellement était de la compétence du bureau. Dans une interview à la presse publiée le 11 septembre 2007, S._ a déclaré avoir «la nette impression que le système de bonus (était) illégal». Lors d'une séance du 4 octobre 2007, le Conseil d'administration a décidé de faire la transparence sur les rémunérations des membres du Conseil d'administration. Dans son audit de légalité et de gestion relatif aux rémunérations des membres des conseils d'administration et des directions des principaux établissements publics autonomes du canton du 21 février 2008, la Cour des comptes a constaté que les rémunérations du Conseil d'administration des SIG n'avaient pas donné lieu à une acceptation formelle du Conseil d'Etat comme prévu par la loi. Toutefois, un document récapitulatif des rémunérations pratiquées par ces établissements, faisant état des rémunérations de l'ensemble des administrateurs des SIG, avait été communiqué à cette autorité le 8 février 2002, laquelle n'avait pas relevé d'irrégularités. En revanche, contrairement à la loi, les salaires de six membres de la direction des SIG avaient été supérieurs à ceux de la fonction publique. A la suite de ce rapport, le salaire du président du Conseil d'administration des SIG, alors de 374'900 fr. par an, a été ramené à 220'000 fr. B.b Le 23 juillet 2007, S._ a déposé devant le secrétariat du Grand Conseil une interpellation urgente portant le titre : «Rhino, Bistrok, Cave 12 : Au nom de la loi ça suffit!». Cette intervention concernait notamment l'énergie fournie par les SIG à des squatters. Son auteur y dénonçait la «complicité» des SIG; il déplorait «la responsabilité éminemment politique dans ce dossier (...) prouvée par la présence à la présidence du Conseil d'administration d'un ancien élu communiste et (les) liens étroits qu'il entretient avec le conseiller d'Etat et ministre de tutelle de cette société publique autonome». Dans un courrier électronique du 26 juillet 2007, S._ a prié le président des SIG de répondre à une série de questions sur les squats et la pose de compteurs dans les bâtiments concernés. Le 20 août 2007, le président a répondu aux différentes questions posées, en indiquant notamment que le squat en question avait été équipé de compteurs électriques pour éviter les branchements sauvages, jugés trop dangereux. B.c Le 25 septembre 2007, S._ et d'autres députés de son parti ont déposé devant le secrétariat du Grand Conseil une proposition de résolution intitulée: «Les ordures de la mafia italienne infiltrent les SIG!». Cette intervention avait pour but d'interdire toute importation de déchets ménagers et/ou industriels en vue de leur incinération à l'usine des Cheneviers qui ne proviendraient pas de la région immédiate de Genève. Leurs auteurs dénonçaient les erreurs de prévision et d'évaluation des SIG qui obligeaient ceux-ci à importer 100'000 tonnes par année de déchets supplémentaires pour faire fonctionner le troisième four de cette usine. Ils stigmatisaient les «errements mégalomaniaques» des SIG et une politique condamnable au regard du fait que le nombre de cancers à Genève, spécifiquement autour de l'incinérateur incriminé, était selon eux de trois à quatre fois supérieur à la moyenne suisse. B.d Le 1er juin 2008, le peuple genevois a rejeté en votation populaire une loi modifiant la LSIG. Cette loi avait pour but de réduire le nombre des membres du Conseil d'administration des SIG et d'instaurer un mode de désignation de ceux-ci en fonction de critères professionnels. B.e Le 12 juin 2008, plusieurs députés du MCG, dont son président, ont déposé devant le secrétariat du Grand Conseil une proposition de résolution invitant le Conseil d'Etat à dissoudre, respectivement à révoquer, le Conseil d'administration dans son entier ou, à défaut, son président. Faisant référence à la votation précitée, les signataires se proposaient, en particulier, de mettre fin «au copinage» dans la nomination des administrateurs des SIG, dont les membres auraient privilégié les intérêts financiers de l'entreprise au détriment des impératifs de santé publique, en acceptant notamment l'importation de déchets toxiques incinérés à l'usine des Cheneviers. B.f Le 20 août 2008, plusieurs députés du MCG, dont S._, ont déposé devant le secrétariat du Grand Conseil une proposition de motion nommée : «Tarifs d'électricité : 30 % de hausse en un an, ça suffit! Où est passé le milliard de francs encaissé par les SIG?». Il était reproché aux SIG d'avoir investi des centaines de millions de francs dans la construction de barrages hydroélectriques en Valais et d'avoir encaissé un milliard de francs en remboursement des investissements consentis sans pour autant répercuter cette recette par une baisse des tarifs à Genève. Le Conseil d'Etat était invité, en particulier, à dire toute la vérité sur l'utilisation de cette somme «que les Services industriels genevois ont encaissée sur le dos des usagers genevois en obtenant des tarifs préférentiels d'EOS (Energie Ouest Suisse) et en laissant des tarifs d'électricité arbitrairement élevés». Le 27 août 2008, le journal «20 minutes» a publié à ce sujet un article sous le titre «Les Services industriels ont trompé les Genevois». S._ y accusait les SIG d'avoir trompé la population en encaissant près de un milliard de francs sur le dos de leurs clients. L'intéressé a réitéré cette accusation dans une émission de Radio Cité le 27 août 2008. B.g Le 2 septembre 2008, lors d'une séance de la commission de l'énergie du Conseil d'administration, S._ a demandé des explications au sujet d'une somme de 100 millions de francs versée par les SIG à EOS entre 2001 et 2003. Un membre de la direction générale a expliqué que ce versement était intervenu dans le cadre d'un plan général d'assainissement d'EOS («plan Pi»), comportant un prêt convertible de 36 millions de francs, d'une part, et un versement de 100 millions de francs, d'autre part, lié à un contrat d'approvisionnement à bas prix. Cette prestation à bas prix constituait la rémunération et le remboursement du montant de 100 millions de francs. L'opération avait permis aux SIG de baisser le prix de l'énergie entre 2001 et 2007. Par courriel du 7 septembre 2008, S._ a adressé au président du Conseil d'administration une liste de questions concernant le montant de 100 millions de francs versé à EOS. Il souhaitait obtenir une réponse pour la réunion du Conseil d'administration agendée le 9 septembre suivant. Le 8 septembre 2008, la secrétaire du Conseil d'administration lui a répondu qu'au vu de la diversité des questions ainsi que de la disponibilité des intéressés, il ne pourrait pas être fourni de réponses avant la séance du lendemain. Le même jour et le lendemain, plusieurs journalistes ont interpellé les SIG pour connaître leurs déterminations sur une interpellation urgente que S._ indiquait avoir déposée devant le Grand Conseil à ce sujet. Cette interpellation urgente a été formellement déposée par S._ le 11 septembre 2008, sous la forme de cinq interpellations urgentes distinctes, toutes intitulées : «SIG la banque royale à la charge des citoyens!». Le Conseil d'Etat était invité à fournir des réponses à plusieurs questions relativement au «prêt» de 100 millions de francs accordé à EOS. On pouvait, selon l'auteur de l'interpellation, suspecter une violation des règles comptables. Celui-ci précisait avoir dénoncé ces faits à la Cour des comptes et au procureur général. Dans une note d'information adressée le 12 septembre 2008 aux membres du Conseil d'administration, le président a fourni une réponse détaillée aux différentes questions posées par S._ le 7 septembre 2008. Cette réponse reprenait en substance, avec davantage de détails, l'explication donnée à l'intéressé lors de la séance de la commission de l'énergie du 2 septembre 2008. Il était précisé, par ailleurs, que la société Gaznat SA avait bénéficié, comme EOS, d'un plan d'assainissement de la part de ses actionnaires et que l'engagement des SIG envers cette société se montait, à fin 2000, à 74 millions de francs et, à fin 2007, à 35 millions de francs. Le 13 septembre 2008, S._ a déposé devant le secrétariat du Grand Conseil une interpellation urgente portant le titre : «Le bilan des SIG est-il un faux, les Genevois ont-ils été trompés?». Son auteur soupçonnait les SIG d'avoir fait une fausse déclaration dans le bilan pour échapper à un projet de loi en bonne et due forme portant sur l'opportunité de l'investissement accordé à EOS. Il affirmait que, dans le meilleur des cas, il y avait eu une fausse présentation des comptes de la part des SIG, qui ne respectaient pas les normes comptables. Ceux-ci étaient, quoi qu'il en soit, accusés d'avoir occulté le subventionnement accordé à EOS afin d'échapper à l'approbation nécessaire du Grand Conseil et du Conseil d'Etat. Le 16 septembre 2008, S._ a déposé devant le secrétariat du Grand Conseil l'interpellation urgente: «Electricité qui paie quoi et à qui!». Il accusait les SIG d'avoir violé la loi en inscrivant l'investissement de 100 millions de francs dans le bilan sous la rubrique «achat électricité», alors qu'il se serait agi d'un prêt sans intérêts ou d'un paiement à fonds perdus. Il reprochait également aux SIG d'avoir contrevenu aux dispositions réprimant la dilapidation d'actifs au sein de la société EOS en demandant des rabais extraordinaires à cette société afin de la désendetter. Le 9 octobre 2008, le Conseil d'Etat a répondu aux questions posées dans ces deux interpellations urgentes. Il a explicité les tenants et aboutissants du «plan Pi», dans lequel s'inséraient les 100 millions de francs versés à EOS. Ce plan était considéré comme légal tant du point de vue comptable que des lois en vigueur. Le montant de 74 millions de francs versé à Gaznat SA dans le cadre de son assainissement visait le même objectif. B.h Dans sa séance du 16 octobre 2008, le Conseil d'administration des SIG a débattu du comportement de S._. Celui-ci a exprimé l'avis que ses interventions devant le Grand Conseil, relayées par la presse, relevaient du débat politique. Un autre membre du Conseil d'administration, C._, a déploré que l'information circulait mal au sein du Conseil d'administration. Une semaine auparavant, il avait lui-même demandé des précisions sur les 74 millions de francs versés à Gaznat SA et n'avait pas reçu de réponse. De son point de vue, les problèmes rencontrés par les SIG découlaient d'une situation qui remontait à la fin des années 1980 et au début des années 1990. C._ a donné lecture d'extraits de documents confidentiels de l'époque restés en sa possession. Le lendemain, S._ a demandé au Conseil d'administration de lui transmettre par retour de courriel la copie des documents financiers dont avait fait état C._ au cours de la séance du Conseil d'administration de la veille. La secrétaire du Conseil d'administration a répondu le même jour que la consultation intégrale des documents en question ne pouvait être autorisée sans vérifications préalables. Ces documents étaient confidentiels et dataient de plus de quinze ans. Un contact serait repris prochainement avec l'intéressé au sujet de sa demande. S._ a protesté par retour de courriel. Le même jour, S._ a divulgué aux membres de la commission de l'énergie du Grand Conseil le contenu des discussions de la séance du Conseil d'administration du 16 octobre 2008 et la teneur des documents produits par C._ à cette occasion. Le 25 octobre 2008, il a publié sur son blog l'échange de courriels qu'il avait eu avec le Conseil d'administration concernant sa demande de communication de ces documents. B.i Auparavant, le 30 septembre 2008, S._ avait cosigné avec plusieurs autres députés un projet de loi nommé «Eco 21» sur l'économie d'énergie, visant à distribuer des ampoules basse consommation aux usagers au moyen des fonds dont disposait le programme «Eco 21». Dans l'exposé des motifs, il était relevé que ce programme avait coûté plus de 10 millions de francs en frais de publicité, en prospectus luxueux, en salaires et en frais de représentation, sans qu'il y ait eu des modifications de comportement significative des usagers. C. Par arrêté du 29 octobre 2008, le Conseil d'Etat a ouvert une procédure administrative en vue de déterminer si S._ avait enfreint ses devoirs liés à sa charge d'administrateur des SIG. Les SIG et S._ ont été invités à se déterminer. D. Le 2 mars 2009, le Conseil d'Etat a pris un arrêté par lequel il a révoqué S._ de sa qualité d'administrateur des SIG avec effet immédiat et prononcé que la décision était immédiatement exécutoire nonobstant recours éventuel. E. S._ a recouru devant le Tribunal administratif de la République et canton de Genève en concluant à l'annulation de l'arrêté du Conseil d'Etat du 2 mars 2009. Préalablement, il demandait la restitution de l'effet suspensif à son recours. Par décision du 19 mai 2009, la présidente du tribunal administratif a rejeté la requête en restitution de l'effet suspensif en tant qu'elle devait être traitée comme une demande de mesures provisionnelles. S._ a interjeté un recours en matière de droit public contre cette décision incidente en concluant à la restitution de l'effet suspensif à son recours. Statuant le 3 août 2009, le Tribunal fédéral a déclaré le recours irrecevable, le recourant n'ayant pas démontré l'existence d'un préjudice irréparable (arrêt 8C_473/2009). F. Statuant sur le fond le 19 janvier 2010, le tribunal administratif a rejeté le recours porté devant lui. G. S._ a formé un recours en matière de droit public dans lequel il a conclu à l'annulation du jugement du 19 janvier 2010, ainsi qu'à l'annulation de l'arrêté du Conseil d'Etat du 2 mars 2009. Le Conseil d'Etat a conclu principalement à l'irrecevabilité du recours, subsidiairement à son rejet. 