Faits: A. A.a. C._ a été engagé à partir du 1 er avril 2003 et à titre provisoire en qualité de surveillant-maître d'atelier à l'établissement d'exécution des peines de X._. Par arrêté du Conseil d'État du 15 décembre 2004, il a été nommé à cette fonction dès le 1 er janvier 2005. Le 11 juillet 2008, il s'est vu délivrer le certificat d'examen professionnel d'agent de détention et a obtenu à partir du 1 er juillet 2008 le poste d'adjoint responsable des ateliers de X._. Il a ensuite occupé, à partir du 1 er janvier 2009, le poste de responsable ad interim des ateliers du Service pénitentiaire de l'établissement Y._, regroupant les trois établissements de détention du canton de Neuchâtel. Il a toutefois été réintégré dans la fonction de surveillant-chef adjoint dans le domaine cellulaire de X._ le 4 juillet 2011, après que Y._ a clarifié les missions et les attributions de l'ensemble du personnel, à la suite de l'évasion de cet établissement d'un dangereux détenu le 27 juin 2011. A.b. Par courrier du 31 janvier 2012, le directeur de X._ a confirmé la teneur d'un entretien qu'il avait eu le 20 janvier précédent avec C._ et au cours duquel il avait rappelé à ce dernier le concept de Y._ concernant les services de piquet. Ce rappel faisait suite à une intervention du médecin de garde lors du week-end du 14 au 15 janvier 2012. Ce jour-là, C._ était le surveillant-chef adjoint de piquet et il avait omis d'annoncer cette intervention au directeur de piquet, comme l'exigeait le concept précité. A cette occasion, il a aussi été rappelé à l'intéressé que les entretiens avec les détenus concernant un problème de comportement devaient se dérouler uniquement en parloir et non en cellule. A.c. Le dimanche 24 juin 2012, alors que C._ qui était de piquet ce jour-là venait de quitter l'établissement, il a été contacté par téléphone à 17 h 20 par J._, centraliste de service. Ce dernier a déclaré avoir informé C._ qu'une bagarre avait éclaté à 16h35 entre deux détenus, en indiquant que la situation était sous contrôle. Après avoir demandé si sa présence sur place était nécessaire et reçu une réponse négative, C._ a donné l'ordre de consigner les faits au rapport journalier et de veiller à ce que les deux protagonistes ne se croisent pas lors de la distribution des repas au self-service. Il est apparu en début de soirée que l'un des détenus avait fait usage d'un couteau à beurre. Informé le lendemain de ces faits, le directeur de X._ a demandé des explications par courriel à C._, qui a répondu, par courriel également, être surpris d'apprendre que la situation était plus grave que celle qui lui avait été décrite, à savoir, affirmait-il, une "engueulade de plus". Ce même jour, le directeur a relaté par écrit ces faits à la cheffe de Y._. Il déclarait ne pas comprendre que l'intéressé n'ait pas cherché à obtenir des informations supplémentaires relativement à cette altercation. En effet, le lendemain matin, à l'arrivée du personnel en service, personne n'était au courant de la situation et les deux détenus impliqués s'étaient retrouvés libres de se rendre à la salle du déjeuner avec tous les risques que cela comportait. Selon le directeur, les précautions d'usage auraient imposé, d'une part, que les protagonistes fussent isolés en cellule jusqu'à leur audition et que la direction prît une décision sur la suite à donner à l'affaire et, d'autre part, que les informations aient été transmises de manière claire via la centrale pour la nuit et le tableau d'affichage pour la relève du lendemain. C._ a été convoqué par la cheffe de Y._ pour un entretien qui a eu lieu le 28 juin suivant en présence du directeur de l'établissement. Le fonctionnaire a estimé n'avoir rien à se reprocher, car il ne savait pas qu'il y avait eu une bagarre. On ne lui aurait parlé que d'une simple "chamaillerie" entre détenus. J._, ainsi que M._, R._, et H._, tous trois également agents de détention, ont été entendus. A.d. Le 4 juillet 2012, le Conseil d'État a pris une décision de suspension provisoire à l'égard de C._. Celui-ci a recouru par écriture du 13 juillet 2012. A.e. Le 20 août 2012, le chef du service des ressources humaines a informé C._ de l'intention du Conseil d'État de prononcer à son encontre l'une des mesures prévues à l'art. 48 de la loi cantonale neuchâteloise sur le statut de la fonction publique du 28 juin 1995 (LSt; RS/NE 152.510), à savoir le renvoi, le blâme assorti d'une menace de renvoi ou encore le déplacement de l'intéressé dans un poste d'agent de détention. C._ s'est déterminé le 7 septembre 2012. Il a derechef contesté avoir commis une faute. Le surveillant centraliste l'avait certes informé qu'une altercation s'était produite, mais en précisant que la situation était sous contrôle. À aucun moment, il n'avait été question d'une bagarre ni d'une arme blanche. Par décision du 26 septembre 2012, le Conseil d'État a mis fin aux rapports de service de C._ avec effet au 31 décembre 2012, conformément à l'art. 48 al. 2 LSt. Il a retiré l'effet suspensif à un recours éventuel. Enfin, il a annulé la décision de suspension provisoire du 4 juillet 2012 en précisant que C._ était libéré de son obligation de travailler. B. C._ a recouru devant la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel. Il a conclu à l'annulation de la décision du 26 septembre 2012 et à sa réintégration. Subsidiairement, il a conclu au renvoi de la cause au Conseil d'État pour nouvelle décision. Statuant le 11 décembre 2012, la Cour de droit public a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, C._ demande au Tribunal fédéral d'annuler le jugement cantonal et, principalement, d'ordonner sa réintégration, subsidiairement, de renvoyer la cause à l'autorité précédente pour nouvelle décision au sens des motifs. Agissant au nom du Conseil d'État, le Service des ressources humaines conclut au rejet du recours. 