Faits: A. A.a. Par contrat de travail de droit privé, le Département de la justice, de la sécurité et des finances du canton de Neuchâtel a engagé A._, née en 1959, en qualité de X._ en formation dès le 1 er avril 2007 pour une durée maximale de 5 ans. Ces rapports de travail ont pris fin d'un commun accord entre l'employeur et la prénommée avec effet au 31 décembre 2007, dès lors qu'un nouveau contrat de travail de droit privé avait été conclu entre les parties le 14 décembre 2007. Aux termes de celui-ci, A._ était engagée en qualité de collaboratrice administrative à temps partiel (70 %) à l'Office Y._ dès le 1 er janvier 2008 pour une durée indéterminée. Son taux d'activité a été augmenté à 90 % dès le 1 er juillet 2009. Selon l'intéressée, le chef du Service B._ et le chef de l'Office Y._ l'auraient informée, le 31 mai 2010, qu'elle ne faisait plus partie du personnel et l'auraient priée d'intégrer l'Etablissement Z._, à C._, où elle avait entre-temps postulé. Le 7 juin 2010, lors d'une entrevue avec un collaborateur du Service des ressources humaines de l'Etat (ci-après: SRHE), A._ a confirmé à celui-ci qu'elle commençait un nouvel emploi le jour même auprès de l'Etablissement Z._ et lui a remis ses clefs professionnelles. Le 10 juin 2010, le SRHE a fait parvenir à A._ pour signature une convention constatant la fin des rapports de travail au 4 juin 2010. Cette convention n'a pas été signée par la prénommée. Le 30 septembre 2010, par l'intermédiaire de son mandataire, A._ a demandé la modification de son certificat de travail (suppression de la phrase " elle nous a quitté de son plein gré le 4 juin 2010 pour occuper une nouvelle fonction dans le domaine B._ "), estimant qu'il n'était pas conforme à la réalité. Le SRHE n'est pas entré en matière sur cette demande. Il a par ailleurs informé l'intéressée qu'il envisageait de constater par écrit la fin des rapports de travail de droit privé depuis le 4 juin 2010 et lui a imparti un délai pour déposer ses observations. Le 10 décembre 2010, A._ a contesté la fin de ses rapports de travail le 4 juin 2010 par abandon de poste. Faisant valoir qu'elle aurait dû être engagée par contrat de droit public, elle a réclamé une indemnité correspondant à deux mois de salaire pour licenciement immédiat sans justes motifs ainsi qu'une indemnité pour tort moral en raison de mobbing. Elle a en outre requis qu'il soit mentionné dans son certificat de travail qu'elle avait travaillé en tant que X._ depuis le 1 er avril 2007 puis auprès de l'Office Y._ du 1 er septembre 2007 au 31 mai 2010. Enfin, elle a demandé le versement de son salaire jusqu'à fin juillet 2010. Par décision du 18 janvier 2011, le SRHE a constaté la fin des rapports de service au 4 juin 2010. Il a par ailleurs rejeté la demande de correction du certificat de travail et les demandes d'indemnités. A.b. A._ a interjeté un recours contre cette décision devant le Département de la justice, de la sécurité et des finances (ci-après: le DJSF), lequel l'a rejeté par décision du 18 avril 2012. B. A._ a recouru devant la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel. Elle a conclu principalement à ce qu'il fût constaté que les rapports de travail n'avaient pas pris fin, subsidiairement, à l'octroi d'une indemnité de 26'120 fr. 50 pour résiliation abusive, respectivement de 15'672 fr. 30 pour résiliation injustifiée. Elle a en outre réclamé l'octroi d'une indemnité de 5'224 fr. 10 pour tort moral " pour mobbing " et demandé qu'un certificat de travail conforme lui fût délivré, le tout sous suite de frais et dépens. Par arrêt du 17 mai 2013, la Cour de droit public a rejeté le recours. C. A._ recourt contre ce jugement dont elle requiert l'annulation, reprenant les mêmes conclusions que devant les premiers juges, sous suite de frais et dépens. Le SRHE conclut au rejet du recours. 