A.- X._, né le 18 juillet 1949, a été engagé le 1er octobre 1978 au service de l'Etat du Valais en qualité de sous-chef de l'atelier mécanique de la maison d'éducation au travail de Pramont. Il y a travaillé ensuite en qualité de veilleur de nuit du 24 septembre 1980 au 30 avril 1999. Cette période a été émaillée de plusieurs conflits avec ses supérieurs. Le 1er mai 1999, l'intéressé a été affecté à la centrale de contrôle de la prison des Iles, à Sion. Par lettre du 28 septembre 1999, le directeur-adjoint de l'établissement a informé X._ de sa nomination, à partir du 1er octobre 1999, à un nouveau poste de gardien caractérisé par des horaires et des exigences de travail plus favorables. L'intéressé présente une incapacité totale de travailler depuis le 1er octobre 1999 et n'a jamais occupé ce poste. Invité à examiner X._, le médecin-conseil de l'Etat du Valais a relevé, dans son attestation du 4 avril 2000, que l'arrêt de travail de l'intéressé résultait de difficultés d'ordre psychologique reposant sur une absence de communication entre employeur et employé. Après avoir pris connaissance du rapport du psychiatre, mandaté à sa demande pour examiner à son tour X._, le médecin-conseil a conclu le 29 mai 2000 que le patient ne pourrait pas reprendre son activité professionnelle dans son emploi mais que sa capacité de travail était intacte dans un autre contexte, soit dans un autre département. Cette conclusion a été confirmée le 23 octobre 2000. Malgré deux séances de conciliation, les tentatives d'améliorer les relations personnelles et professionnelles de X._ avec ses supérieurs n'ont pas abouti. Invité à rechercher une nouvelle place de travail dans un autre département de l'administration cantonale, X._ n'a procédé à aucune démarche avant le 20 décembre 2000. Il a qualifié de "méprisante et insultante" la suggestion qui lui a été présentée de se porter candidat à un poste de cantonnier. Par décision du 22 novembre 2000, le Conseil d'Etat du canton de Valais (ci-après: le Conseil d'Etat) a résilié les rapports de service de X._ avec effet au 15 novembre 2000 et l'a invité à s'adresser à la Caisse de prévoyance du personnel de l'Etat du Valais ainsi qu'à l'assurance-invalidité fédérale pour obtenir de ces institutions les prestations financières justifiées par son état de santé. Cette décision repose principalement sur l'art. 32 al. 2 (retraite pour raisons d'âge ou de santé) de la loi du 11 mai 1983 fixant le statut des fonctionnaires et employés de l'Etat du Valais (ci-après: LStF/VS), subsidiairement sur l'art. 36 de cette loi (résiliation pour justes motifs). B.- X._ a recouru contre cette décision auprès de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal). Il a soutenu qu'il avait été victime d'actes répétés de harcèlement psychologique et que la résiliation de ses rapports de service n'était pas due à son état de santé mais constituait l'aboutissement des actes de "mobbing" dirigés contre lui. X._ a requis son audition, celle de deux médecins et de huit employés de l'Etat du Valais. Statuant le 13 juin 2001, le Tribunal cantonal a rejeté le recours. Il a retenu que X._ était objectivement inapte à exercer la fonction pour laquelle il avait été nommé, circonstance qui justifiait la cessation des rapports de service et qu'il n'existait aucune possibilité de transfert de l'intéressé à une autre fonction de l'administration cantonale, compte tenu de sa capacité de travail et des postes disponibles. Le Tribunal cantonal n'est pas entré en matière sur le grief de X._ relatif au harcèlement psychologique invoqué et n'a procédé à aucune audition. C.- Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral, avec suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 13 juin 2001 et de renvoyer le dossier à l'autorité intimée pour nouveau jugement dans le sens des considérants. Il invoque la protection contre l'arbitraire (art. 9 Cst.) et les garanties générales de procédure, notamment le droit d'être entendu (art. 29 al. 1 et 2 Cst.). Le Tribunal cantonal a renoncé à se déterminer. Le Conseil d'Etat propose de rejeter le recours. 