Faits: A. A.a T._, né en 1969, est au bénéfice d'un CFC d'installateur sanitaire et d'un brevet fédéral de monteur en réseaux. Il a travaillé depuis 1993 au service de la Ville de X._ et, dès 1996 auprès de la division Y._ de la société Z._. En 2005, il a été nommé à un poste de contremaître dans cette division. En tant que fonctionnaire de la commune de X._, T._ était soumis au Règlement général pour le personnel de l'administration communale (ci-après: RGPAC), adopté par le conseil municipal de la Ville en séance des 27 novembre 1980 et 17 décembre 1987. En 2007 et au début de l'année 2008, T._, confronté à d'importants problèmes personnels, a fait plusieurs tentatives de suicide. Dans le courant du mois de février 2008, il a été mis en arrêt de travail jusqu'au 30 mars suivant. Le 24 mars 2008, alors que tous ses collègues étaient en congé pascal, T._, sous l'emprise de l'alcool et de médicaments, tenta de mettre fin à ses jours sur son lieu de travail. Il détourna une conduite de gaz dans son bureau tout en obstruant hermétiquement la porte et les fenêtres. Une violente explosion se produisit dans les locaux de la société Z._ lorsque, selon toute vraisemblance, l'intéressé alluma une cigarette dans son bureau, à un moment où la concentration de gaz dans le local était devenue très importante. Grièvement brûlé, T._ fut sauvé par l'intervention des pompiers et héliporté à l'Hôpital V._ le même jour. Au cours d'une séance du 23 avril 2008, le conseil municipal de X._ a décidé d'ordonner l'ouverture d'une enquête administrative à l'encontre de T._ et de suspendre le 30 % de son salaire dès le 1er mai 2008. Le conseil municipal a en outre retiré l'effet suspensif à un éventuel recours contre cette décision. Le 29 avril 2008, T._ a recouru contre cette décision devant le Conseil d'Etat. Il alléguait se trouver dans une situation personnelle très difficile au moment des faits reprochés, estimait que sa responsabilité personnelle n'était pas entière et requérait la mise en oeuvre d'une expertise. Il demandait la restitution de l'effet suspensif concernant la réduction de son salaire, compte tenu de son obligation d'entretien envers sa famille. Dans le cadre de l'enquête administrative, T._ a été entendu, le 26 août 2008, par une commission paritaire. Il était assisté de son conseil, Me Fanti. A cette occasion, il a rappelé les événements du 24 mars 2008, indiqué les regretter profondément et a expliqué que le travail de psychanalyse mené durant son hospitalisation avait nettement amélioré son état de santé. Il a ajouté que les rapports qu'il entretenait avec son épouse, dont il était séparé depuis 2007, et avec ses trois enfants étaient désormais bien meilleurs que par le passé. L'intéressé a déposé un certificat médical, daté du 18 août 2008, attestant qu'il était en mesure de reprendre un travail de bureau dès le 27 août suivant. Le 4 septembre 2008, T._, à qui le procès-verbal de l'audition du 26 août 2008 avait été transmis, a fait part de ses remarques. Il a notamment relevé la nécessité d'ordonner une expertise psychiatrique afin de déterminer sa capacité de discernement au moment de l'explosion et a rappelé être disposé à reprendre un travail de bureau. Lors de sa séance du 25 septembre 2008, le Conseil municipal de la Ville de X._ a prononcé la destitution de T._, avec un délai de congé de 6 mois pour la fin d'un mois, conformément à l'art. 58 ch. 1 let. e RGPAC. Selon cette autorité, le comportement fautif de l'intéressé et la gravité des événements survenus le 24 mars 2008 avaient rompu le lien de confiance qui liait ce dernier à son employeur. A.b T._ a recouru contre cette décision auprès du Conseil d'Etat le 27 octobre 2008. Il reprochait principalement au conseil municipal la violation du principe de l'instruction d'office, dès lors qu'il avait statué sans avoir préalablement apprécié, au moyen d'une expertise psychiatrique, sa capacité de discernement au moment des faits litigieux. Or, selon T._, il s'agissait là d'un élément crucial, puisque de celui-ci dépendaient son degré de culpabilité et, partant, la validité de la mesure disciplinaire prise à son encontre. Le Service des affaires intérieures et communales (ci-après: le SAIC), organe d'instruction du recours, a suspendu la procédure le 5 mars 2009, dans l'attente d'une expertise psychiatrique mise en oeuvre dans le cadre de l'instruction pénale ouverte à l'encontre de T._. Le 28 avril 2009, la SAIC a informé les parties que Me Fanti lui avait fait parvenir une copie de l'expertise psychiatrique (du 10 avril 2009) versée au dossier pénal et qu'un délai de 15 jours leur était accordé pour présenter des observations avant la clôture de l'instruction. Plusieurs échanges d'écritures ont eu lieu entre les parties. Par décision du 3 mars 2010, le Conseil d'Etat a rejeté le recours. Au vu des expertises psychiatriques se trouvant au dossier, l'autorité a retenu que la capacité de discernement de T._ au moment des faits était sérieusement affaiblie, de sorte qu'il ne pouvait pas mesurer toutes les conséquences potentielles de ses actes sur des tiers. Dans ces conditions, il ne pouvait lui être reproché une faute grave justifiant l'application du droit disciplinaire. Le Conseil d'Etat a cependant confirmé la décision de l'exécutif communal, dans la mesure où celle-ci respectait toutes les conditions d'un licenciement pour justes motifs, au sens des art. 11 et 12 RGPAC. B. T._ a recouru contre cette décision devant la Cour de droit public du Tribunal cantonal valaisan en concluant, à titre liminaire, à ce qu'une violation du principe de célérité par le SAIC soit constatée. A titre principal, il a demandé l'annulation de la décision du Conseil d'Etat du 3 mars 2010 ainsi que le maintien de ses rapports de service. Par arrêt du 24 septembre 2010, le Tribunal cantonal a rejeté le recours. C. T._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Sous suite de frais et dépens, il conclut à sa réintégration dans sa fonction antérieure ou dans un autre emploi raisonnablement exigible auprès de la Ville de X._. Il demande en outre le bénéfice de l'assistance judiciaire. La Ville de X._ conclut au rejet du recours ainsi qu'au rejet de la demande d'assistance judiciaire. 