Faits: A. P._, né en 1951, marié, est entré au service de l'établissement X._ en 1975. Il travaille depuis 1978 en qualité de transporteur dans le département de logistique, où il est chargé du transport interne des spécialités. R._, née en 1987, a travaillé comme apprentie gestionnaire en intendance à l'établissement X._. Son contrat a débuté le 1er septembre 2005 et a pris fin au 31 août 2009. De septembre 2005 à février 2009, elle a loué une chambre près de l'établissement. Le 22 janvier 2009, R._ a informé la direction de l'établissement que P._ lui avait fait subir des relations sexuelles sous la contrainte. Une procédure pénale a été ouverte contre P._ pour viols, contraintes sexuelles, menaces, voies de fait commises à réitérées reprises, éventuellement abus de la détresse. Le 22 janvier 2009 également, l'établissement X._ a ouvert à l'encontre de P._ une procédure administrative. Il a ordonné sa suspension d'activité, sans suspension de traitement. L'intéressé a été entendu les 23 janvier et 12 février 2009. Il a réfuté les accusations portées contre lui. Il a admis avoir entretenu des relations intimes avec R._ entre septembre 2006 et décembre 2007, à raison de deux à trois fois par semaine, à différentes heures de la journée, en règle générale dans la chambre que l'établissement mettait à la disposition de l'apprentie, une fois dans un local technique de l'établissement, le soir après le travail, ainsi qu'une fois tôt le matin à son domicile à G._. La plupart du temps, les relations avaient lieu durant les pauses de midi. Les amants se contactaient au moyen du téléphone portable ou du «bip» de service. L'employé a d'autre part précisé avoir appris, vers le mois de septembre 2007, que R._ avait été violée durant son adolescence et qu'elle prenait des médicaments. Le 27 mars 2009, l'établissement X._ a prononcé le renvoi pour justes motifs de P._ avec effet au 31 mars 2009 et moyennant une indemnité correspondant à deux mois de salaire. Saisi d'un recours de P._, le Conseil d'Etat du canton de Fribourg l'a rejeté par décision du 3 novembre 2009. Il s'est fondé sur les éléments contenus dans le dossier administratif. Il a retenu que si l'établissement de relations intimes entre deux adultes relevait de la sphère privée, il convenait de tenir compte, en l'espèce, de la grande différence d'âge entre les deux partenaires, du fait que les relations (rencontres, appels, relations sexuelles) avaient eu lieu dans l'enceinte de l'établissement et, en partie tout au moins, durant les heures de travail. Le fait que R._ avait déposé une plainte pénale nuisait au bon fonctionnement et à l'image de l'établissement en raison de la tournure conflictuelle qu'avait pris la liaison, accentuée par la menace de R._ d'en révéler l'existence à l'épouse de P._, qui était également employée à l'établissement X._. La plainte pénale avait en outre donné une certaine publicité au sein du service et même à l'extérieur de l'établissement. Celui-ci, toujours selon le Conseil d'Etat, ne pouvait tolérer que son image soit «salie» auprès du public. Il ne pouvait pas davantage tolérer que la bonne marche du service fût atteinte et perturbée. En définitive, la nature des faits, leur durée et leur impact justifiaient le renvoi du responsable de ces faits, malgré la durée des rapports de service. B. P._ a recouru contre cette décision devant le Tribunal cantonal du canton de Fribourg en concluant à sa réintégration auprès de l'établissement X._, dans sa fonction antérieure ou dans un emploi équivalent au sein d'un autre département ou d'un autre site de l'établissement. Subsidiairement, il a conclu au versement par l'établissement X._ d'une indemnité équivalant à une année de traitement. Le Conseil d'Etat a conclu au rejet du recours. Le 17 mars 2010, P._ a produit une lettre du 3 mars 2010 par laquelle le Ministère public informait la juge d'instruction chargée du dossier pénal qu'il n'entendait pas soutenir l'accusation contre P._, les nombreuses incohérences du témoignage de R._ ne permettant pas de retenir que les relations sexuelles entretenues par les parties aient été imposées par la contrainte ou par l'abus de l'état de la plaignante. Le 13 juillet 2010, la juge d'instruction a clôturé par un non-lieu la procédure pénale ouverte à l'encontre de P._, considérant que les déclarations de R._ étaient dépourvues de crédibilité et que les charges à l'encontre du prévenu étaient en conséquence inexistantes. Par une ordonnance pénale du même jour, la juge d'instruction a reconnu R._ coupable de calomnie et de dénonciation calomnieuse. Elle l'a condamnée à une peine pécuniaire de 90 jours-amende avec sursis pendant deux ans. Les deux ordonnances ont été communiquées au tribunal cantonal. Par ailleurs, à la demande du juge délégué, l'établissement X._ a communiqué au tribunal les cartes de timbrage de P._ et de R._ couvrant la période d'octobre 2006 à décembre 2007. Le juge a en même temps invité l'établissement à répondre à diverses questions. l'établissement a communiqué les pièces requises et a répondu aux questions posées par écriture du 12 août 2010. Statuant le 14 septembre 2010, la Ie Cour administrative du tribunal cantonal a admis le recours. Elle a annulé la décision attaquée et renvoyé la cause à l'autorité d'engagement pour décision conformément à l'art. 41 de la loi sur le personnel de l'Etat. C. Le Conseil d'Etat forme un recours en matière de droit public dans lequel il conclut principalement à l'annulation de l'arrêt attaqué et à la confirmation des décisions de renvoi rendues par l'établissement X._ et le Conseil d'Etat. Subsidiairement, il demande que l'indemnité à verser à P._ tienne compte «des infractions aux devoirs de service commises par celui-ci». P._ conclut principalement à l'irrecevabilité du recours, subsidiairement à son rejet, le tout sous suite de frais et dépens. D. Par ordonnance du 21 décembre 2010, le juge instructeur a attribué l'effet suspensif au recours. 