Faits : A. Ressortissant bulgare né en 1963, A.X._ a séjourné et travaillé illégalement en Suisse d'avril 1998 à novembre 2003, alors qu'il était titulaire d'un passeport de Macédoine. Le 11 décembre 2003, le Service de la population et des migrants de l'Etat de Fribourg (ci-après: le Service cantonal) a prononcé son refoulement et l'intéressé a quitté la Suisse au début du mois de janvier 2004. Le 2 mars 2004, l'Office fédéral des migrations a rendu à son encontre une décision d'interdiction d'entrée en Suisse valable jusqu'au 1er mars 2007; le 21 mars 2004, A.X._ a été condamné pour infraction à la législation fédérale sur le séjour et l'établissement des étrangers (aLSEE) à 30 jours d'emprisonnement avec sursis pendant deux ans et à une amende de 1'000 fr. Au mois de janvier 2007, A.X._ est revenu en Suisse et y a travaillé sans autorisation. Son épouse, B.X._, ressortissante bulgare, l'a rejoint le 15 août 2007, elle aussi sans disposer de titre de séjour. Le couple n'a plus quitté la Suisse depuis lors. A la suite d'une dénonciation, les deux conjoints ont été condamnés pénalement pour ces faits. Le 18 janvier 2011, la Section main-d'oeuvre étrangère du Service cantonal a rejeté la demande de prise d'emploi de la société C._ SA en faveur de A.X._, en raison du non-respect de la priorité de la main-d'oeuvre indigène; la société a en outre été avisée que A.X._ devait être licencié. Non contestée, cette décision est entrée en force. Une deuxième demande de prise d'emploi, déposée par la même société, a été rejetée le 20 juillet 2011, l'employeur ayant confirmé par écrit qu'il renonçait à engager l'intéressé. Cette décision n'a pas non plus été contestée. Le Service de l'emploi du canton de Vaud a rejeté deux demandes d'engagement de A.X._, l'une le 13 décembre 2011, formée par D._ SA, l'autre, le 18 avril 2012, déposée par C._ SA, pour non-respect du principe de la priorité de la main-d'oeuvre indigène. Le 26 juin 2012, A.X._ a déposé auprès des autorités fribourgeoises une nouvelle demande d'autorisation de séjour; il a signé un nouveau contrat de travail avec C._ SA le 12 juillet 2012 et cette société a de nouveau demandé une prise d'emploi, qui a été rejetée pour le même motif que précédemment, par décision du 4 septembre 2012 qui n'a pas été contestée. La société a confirmé qu'elle avait renoncé à engager l'intéressé. B. Parallèlement, A.X._ et B.X._ ont déposé, le 9 décembre 2010, une requête d'autorisation de séjour avec activité lucrative en faveur du mari et au titre de regroupement familial pour l'épouse, en faisant valoir leurs droits issus de leur appartenance à l'Union européenne liée à leur nationalité bulgare. A.X._ a réitéré sa demande le 26 juin 2012, en faisant valoir qu'il était resté en Suisse depuis le 1er janvier 2007. Cette requête a été rejetée le 11 novembre 2013 par le Service cantonal, qui a prononcé le renvoi du couple et leur a imparti un délai de 30 jours pour quitter la Suisse. Statuant sur recours des époux X._, le Tribunal cantonal de l'Etat de Fribourg (ci-après: le Tribunal cantonal) a confirmé cette décision par arrêt du 19 mars 2014. C. A l'encontre de cet arrêt, A.X._ (le recourant 1) et B.X._ (la recourante 2) forment un recours en matière de droit public au Tribunal fédéral. Ils concluent, sous suite de frais et dépens, à l'admission du recours, à l'annulation de l'arrêt entrepris et, principalement, à ce que le recourant 1 soit mis au bénéfice d'une autorisation de séjour avec activité lucrative et à ce que la recourante 2 soit mise au bénéfice d'une autorisation de séjour au titre de regroupement familial. Subsidiairement, ils proposent le renvoi de la cause au Service cantonal ou à l'autorité intimée pour nouvelle décision dans le sens des considérants. Ils requièrent par ailleurs l'effet suspensif. Il n'a pas été ordonné d'échange d'écritures. 