Faits: A. A.a Le 2 novembre 2006, la commune de X._ et le Département cantonal neuchâtelois de la Justice, de la Sécurité et des Finances (DJSF) ont conclu un contrat de prestations concernant la prise en charge et la gestion des activités de police sur le territoire de cette commune. Ce contrat contient notamment les dispositions suivantes : Art. 6 - Le personnel de la police communale de X._ est transféré à la police cantonale sous réserve de l'article 7. Art. 7 - La police cantonale n'est tenue d'intégrer dans son corps que les membres aptes à servir dans la police au sens du Règlement d'exécution de la Loi sur la police cantonale du 25 mai 2005, sous réserve de l'accomplissement réussi d'une formation complémentaire. Art. 8 - Le personnel transféré est rémunéré selon l'échelle des traitements cantonale. Le salaire réalisé au moment du transfert est pris en considération. A.b A._ a été engagé le 1er février 2005 en qualité d'agent au sein de la police locale de X._. Dès le 1er juillet 2006, il a été promu au grade d'appointé. Le 6 octobre 2006, le Conseil communal a ordonné avec effet immédiat sa suspension provisoire en raison de l'ouverture d'une enquête pénale à son encontre pour infraction à l'art. 197 du Code pénal suisse (en l'occurrence téléchargement et enregistrement de documents ayant comme contenu des actes d'ordre sexuel sur des enfants). Le 27 décembre 2006, le Conseil communal a signifié à l'intéressé que son poste d'agent de police communale serait supprimé au 30 juin 2007, en raison de la signature du contrat sus-mentionné. Le Conseil précisait qu'il appartiendrait à la police cantonale de se prononcer sur une éventuelle incorporation de l'intéressé au sein de la gendarmerie cantonale, une fois connue l'issue de la procédure pénale en cours et conformément à l'art. 7 du contrat de prestations. A.c Par jugement du 6 juin 2007, le Tribunal de police du district de Y._ a exempté de peine A._. Il a considéré que le prévenu, bien qu'ayant commis les actes reprochés alors qu'il n'était pas dans l'exercice de sa fonction de policier, avait agi pour un mobile honorable, savoir lutter contre la pédophile sur Internet. Sur le plan pénal, la culpabilité du prévenu, ainsi que les conséquences négatives de ses actes, étaient cependant peu importantes, raison pour laquelle il se justifiait de renoncer à lui infliger une peine. Le tribunal a mis à sa charge les frais de la cause, arrêtés à 2'300 fr. A.d A la suite de ce jugement, A._ a demandé à être intégré dans le corps de la police cantonale. Par lettre du 14 janvier 2008, le conseiller d'Etat, chef du DJSF, lui a communiqué qu'une telle intégration n'était pas envisageable, dans la mesure où il ne présentait pas le profil requis pour l'exercice de la fonction de policier. Rappelant la teneur du règlement d'exécution de la loi sur la police cantonale, selon lequel l'une des conditions d'aptitude suppose une bonne réputation et l'absence de condamnation pénale incompatible avec l'exercice de la fonction, il a considéré que, même si l'intéressé avait été exempté de toute peine par le juge pénal, les faits retenus à sa charge ne permettaient pas de se forger une appréciation positive de sa personnalité. B. B.a A._ a recouru devant le Tribunal administratif (actuellement la Cour de droit public du Tribunal cantonal) du canton de Neuchâtel en lui demandant d'ordonner son intégration dans les rangs de la gendarmerie cantonale, conformément au contrat de prestations du 2 novembre 2006. Il a également conclu à la restitution de supports informatiques séquestrés par la police au cours de l'enquête pénale dirigée à son encontre. B.b Statuant le 25 janvier 2010, le Tribunal administratif a déclaré le recours irrecevable, au motif que le courrier du chef du DJSF ne pouvait pas être considéré comme une décision. En ce qui concerne la conclusion relative à la restitution des supports informatiques, le tribunal l'a également déclarée irrecevable. B.c Par arrêt du 12 octobre 2010 (cause 8C_191/2010), le Tribunal fédéral a déclaré le recours constitutionnel subsidiaire formé par A._ irrecevable mais admis son recours en matière de droit public. Il a annulé le jugement cantonal du 25 janvier 2010 dans la mesure où il portait sur la prétention de l'intéressé à être intégré au sein de la police cantonale, et renvoyé la cause à la juridiction administrative pour nouvelle décision au sens des considérants. B.d Statuant à nouveau, la Cour de droit public a rejeté le recours de A._ (jugement du 25 mars 2011). C. A._ interjette un recours en matière de droit public. Sous suite de frais et dépens, il conclut, à titre principal, à l'annulation du jugement cantonal et au renvoi de la cause à l'autorité précédente pour nouvelle décision. A titre subsidiaire, il demande la réforme du jugement en ce sens que la décision du DJSF du 14 janvier 2008 est annulée et qu'il doit être intégré dans le corps de la police cantonale neuchâteloise conformément à la convention passée entre l'Etat de Neuchâtel et la commune de X._. Il invoque le droit à la protection de la bonne foi (art. 5 Cst.), l'interdiction de l'arbitraire (art. 9 Cst.), le principe de l'égalité de traitement (art. 8 Cst.) et la violation de son droit d'être entendu (art. 29 al. 2 Cst.). Le DJSF conclut au rejet du recours. 