Faits: A. B._, né en 1942, a travaillé en qualité d'enseignant à l'Ecole X._, placée sous mandat de gestion du Centre Y._ depuis le 1er janvier 2001, du mois de septembre 1968 au mois de septembre 2007, date à laquelle il a pris sa retraite. Il a également enseigné au Gymnase N._, devenu Lycée Z._, de 1983 jusqu'à sa retraite. Selon la réglementation cantonale applicable, le personnel enseignant bénéficie d'une période hebdomadaire de décharge dès l'âge de 55 ans révolus et de trois périodes hebdomadaires dès l'âge de 60 ans révolus. Tandis que, dans sa fonction au Lycée Z._, B._ a effectivement bénéficié de cette mesure, il n'en a pas été de même à l'Ecole X._. Par lettre du 20 juillet 2002, l'intéressé, en prévision de son 60ème anniversaire, a déclaré renoncer "pour les années à venir" à ses décharges horaires, pour des motifs pédagogiques, afin de ne pas imposer à ses élèves deux professeurs pour la même branche (chimie et biochimie). Le 1er octobre 2008, B._ a saisi le Département de l'éducation, de la culture et des sports du canton de Neuchâtel (DECS) d'une demande tendant au paiement par l'Etat de Neuchâtel d'un montant correspondant aux heures de décharge à l'Ecole X._ auxquelles il avait renoncé du mois de mars 2003 au mois de septembre 2007, soit la somme de 35'644 fr. 29 plus accessoires. Le Service de la formation professionnelle et des lycées du DECS a rejeté la demande par décision du 16 octobre 2008. Saisi d'un recours, le DECS l'a rejeté par décision du 17 mars 2009. B. B._ a recouru contre cette décision devant la Cour de droit public du Tribunal administratif du canton de Neuchâtel. La juridiction cantonale a converti le recours en une action de droit administratif au motif que selon le droit de procédure cantonal, le tribunal administratif connaît en instance unique des actions fondées sur le droit administratif et portant notamment sur des prestations pécuniaires découlant des rapports de service des agents de l'Etat. Statuant le 15 décembre 2009, elle a rejeté la demande. C. B._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut, sous suite de frais et dépens, à ce que l'Etat de Neuchâtel soit condamné à lui payer la somme de 35'644 fr. 30 plus intérêts à 5 % l'an sur 4'501 fr. 12 dès le 1er janvier 2004, sur 13'058 fr. 04 dès le 1er janvier 2005, sur 21'422 fr. 15 dès le 1er janvier 2006, sur 29'820 fr. 67 dès le 1er janvier 2007 et sur 35'644 fr. 29 dès le 1er septembre 2007. Subsidiairement, il demande le renvoi de la cause à la juridiction cantonale pour nouvelle décision au sens des considérants. Représenté par le Département de la justice, de la sécurité et des finances, l'Etat de Neuchâtel conclut au rejet du recours. 