Faits: A. A.a. Par contrat de travail de droit privé du 13 septembre 2007, le Département de la gestion du territoire du canton de Neuchâtel a engagé A._ en qualité d'aide-concierge auxiliaire à temps partiel au service de l'intendance des bâtiments universitaires, pour la période du 24 septembre au 31 décembre 2007. A la suite du transfert du service des bâtiments au sein de l'Université de Neuchâtel, A._ a été engagé à partir du 1 er janvier 2008 en qualité d'aide-concierge à temps complet, à titre provisoire, au Bureau de l'intendance des bâtiments universitaires. Par courrier du 13 juillet 2009, faisant suite à un entretien d'évaluation ayant eu lieu le 25 juin 2009, A._ a été invité par le responsable du service intendance et logistique à améliorer la qualité de ses prestations et à faire preuve de plus de dynamisme et d'engagement dans l'accomplissement de ses activités. Un nouveau point de la situation a été fait le 18 septembre 2009, à l'issue duquel A._ s'est vu informé, dans un courrier du 24 septembre 2009, que les progrès constatés restaient insuffisants et qu'il était invité à améliorer ses prestations. Par lettre du 2 octobre 2009, le Directeur administratif de l'Université a annoncé à A._ qu'une résiliation des rapports de travail durant la période provisoire était envisagée et qu'un délai de 15 jours lui était accordé pour s'exprimer par écrit. Dans le délai imparti, A._ a déposé ses observations, contestant en particulier le fait que l'Université avait laissé s'écouler une période de 18 mois avant de lui reprocher que son travail n'était pas satisfaisant. Par décision du 13 novembre 2009, l'Université de Neuchâtel a résilié les rapports de service de A._ avec effet au 31 janvier 2010, en raison de l'insuffisance de ses prestations. A.b. A._ a interjeté un recours contre cette décision devant le Département de l'éducation, de la culture et des sports (ci-après: le DECS). Par décision du 9 juillet 2010, le DECS a rejeté le recours. B. A._ ayant recouru contre cette décision, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel l'a débouté par arrêt du 17 janvier 2011. C. A._ interjette un recours en matière de droit public assorti d'une requête d'effet suspensif. Il demande au Tribunal fédéral d'annuler l'arrêt cantonal et la décision du DECS du 9 juillet 2010, ainsi que celle de l'Université de Neuchâtel du 13 novembre 2009. L'Université de Neuchâtel conclut implicitement au rejet du recours. D. La demande d'effet suspensif a été rejetée par ordonnance du juge instructeur du 21 avril 2011. 