A.- Né le 5 novembre 1936, X._ a été engagé en 1956 par la commune de Y._ (ci-après: la Commune). Depuis 1958, il travaille pour les Services industriels de la Commune. Le 11 février 1997, le Conseil communal de Y._ (ci-après: le Conseil communal) a décidé de mettre en place, pour le personnel de la Commune, un plan de retraite anticipée à 60 ans et un plan complémentaire LPP avec effet au 1er janvier 1997. En ce qui concerne X._, le Conseil communal a accepté de différer la fin de son activité jusqu'à ses 63 ans, étant précisé qu'il ne participerait pas au plan complémentaire LPP et qu'au terme de son activité, il toucherait une indemnité forfaitaire unique de 10'000 fr. en lieu et place du versement d'un pont-rente AVS. L'Administration communale de Y._ (ci-après: l'Administration communale) en a informé l'intéressé par courrier du 14 mars 1997. Le 17 juin 1997, le Conseil communal a quelque peu modifié sa décision initiale. Le 26 juin 1997, l'Administration communale a par conséquent proposé au personnel de la Commune situé dans la catégorie d'âge de 55 à 64 ans le choix entre deux variantes en indiquant qu'en l'absence de nouvelles dans un délai échéant le 15 juillet 1997, elle considérerait que l'intéressé souscrivait à la variante A. L'alternative soumise à X._ était la suivante: "Variante A - Age terme d'activité communale: 60 ans (capital ou rente à disposition dès cette date) 3.1. Participation au plan complémentaire LPP 3.2. Versement d'un pont AVS (rente maximum simple) de 60 à 65 ans (5 ans) 3.3. Participation communale supplémentaire annuelle de Fr. 4'000.-- aux assurances sociales Variante B (nouvelle proposition) -Arrêt d'activité: 64 ans Ce choix sera lié aux conditions suivantes: 3.1. Le collaborateur ne participera pas au plan complémentaire LPP 3.2. Il ne bénéficiera pas du pont AVS 3.3. Dès la 60ème année: 3.31. Le salaire soumis à la LPP sera celui fixé par la loi (art. 9 LPP). La limite supérieure du salaire annuel est fixée à Fr. 71'640.--, déduction faite du montant de coordination (Fr. 23'880.--), soit salaire maximum soumis à cotisation = salaire coordonné, Fr. 47'760.--. 3.32. Le salaire en vigueur ne sera plus augmenté ni indexé et ce, jusqu'à la fin de l'activité. 3.33. La participation communale à l'assurance maladie (frais médicaux) sera supprimée. 3.34. La prime d'assurance LAA non professionnelle sera prise en charge par le collaborateur.. " Le 27 juin 1997, X._ a rejeté les deux variantes. Il voulait en rester à la retraite à 65 ans. Par lettre du 22 juillet 1997, l'Administration communale a informé l'intéressé qu'il se verrait appliquer la variante B liée à certaines conditions: la fin de son activité était fixée au 5 novembre 2000 et les conditions prévues sous chiffres 3.1/3. 2/3.3 de la circulaire précitée du 26 juin 1997 lui seraient appliquées dès le 1er juillet 1997. Le 15 mars 2000, l'Administration communale a rappelé à X._ que son activité prendrait fin le 5 novembre 2000 et qu'à son départ, il recevrait une indemnité forfaitaire de 10'000 fr. en remplacement de la rente-pont AVS. X._ a manifesté son opposition par lettres des 24 et 30 mars 2000. Il se plaignait d'une solution ne lui accordant pas un pont AVS suffisant et demandait une décision formelle. Dans une lettre du 11 avril 2000, l'Administration communale a fait savoir à l'intéressé que le Conseil communal s'en tenait à sa décision du 17 juin 1997. B.- X._ a alors porté sa cause devant le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) qui, par décision du 4 octobre 2000, a rejeté le recours dans la mesure où il était recevable. C.- Par arrêt du 26 janvier 2001, la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté le recours de X._ contre la décision prise le 4 octobre 2000 par le Conseil d'Etat. Il a notamment écarté le moyen tiré de "l'insuffisance de base légale des décisions municipales en matière d'âge de retraite". Au demeurant, le grief relatif à l'insuffisance des prestations de retraite versées par les institutions de prévoyance des premier et deuxième piliers relevait de la compétence du Tribunal cantonal des assurances du canton du Valais. D.- Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 26 janvier 2001 par le Tribunal cantonal. Il se plaint essentiellement de violation du principe de la légalité ainsi que de déni de justice et d'arbitraire. Le Tribunal cantonal a renoncé à se déterminer sur le recours. Le Conseil d'Etat a envoyé sa réponse et son dossier hors délai. L'Administration communale ne s'est pas manifestée dans le délai imparti. E.- L'Administration communale a produit le dossier de la Commune le 22 octobre 2001. 