Faits: Faits: A. X._ a été engagé le 1er juin 1991 par le Service du personnel de l'Etat de Neuchâtel en qualité d'assistant social au centre d'accueil pour réfugiés des Cernets, aux Verrières. En décembre 2000, une instruction pénale a été ouverte contre le prénommé, à la suite du dépôt par une requérante d'asile, dame A._, d'une plainte pour abus sexuels au sens de l'art. 189 CP. Il a été entendu par la police le 21 mars 2001. Durant l'enquête pénale, X._ a été en arrêt de travail pour cause de maladie jusqu'en septembre 2001. Le Conseil d'Etat du canton de Neuchâtel (ci-après: le Conseil d'Etat) l'a suspendu provisoirement de sa fonction avec effet au 1er janvier 2001, son traitement continuant cependant de lui être versé. X._ a été renvoyé par-devant le Tribunal correctionnel du district du Val-de-Travers (ci-après: le Tribunal correctionnel) sous les préventions, d'une part, d'actes d'ordre sexuel avec une personne dépendante, en concours avec des contraintes sexuelles, et, d'autre part, de tentatives de tels actes, en concours avec des tentatives de telles contraintes, cela au préjudice de dame A._. Par jugement du 10 septembre 2003, le Tribunal correctionnel a libéré X._ des fins de la poursuite pénale engagée à son encontre et laissé les frais de la cause à la charge de l'Etat. Il a estimé que les déclarations de la plaignante selon lesquelles X._ lui avait fait des avances à caractère sexuel étaient crédibles, du fait qu'elles concordaient avec celles de plusieurs collègues ou requérantes d'asile qui lui reprochaient également d'avoir eu un comportement incorrect à leur égard. En effet, deux collègues de travail du prévenu, une dame C._ et une dame D._, s'étaient plaintes d'avoir été l'objet d'avances insistantes de la part du prévenu. La seconde en avait parlé à une collègue, une dame F._, ainsi qu'au directeur du centre d'accueil des Cernets, qui lui avait dit que « quelque chose s'était aussi déroulé » avec une autre collègue, une dame E._. De plus, une dame H._, qui avait travaillé pour le bureau du délégué aux étrangers, avait recueilli les confidences de deux requérantes d'asile, dont une dame G._, qui lui avaient également décrit les avances du prévenu à leur égard. Par ailleurs, il était selon le Tribunal correctionnel vraisemblable que la plaignante ait accepté de donner suite aux avances du prévenu et il n'était pas exclu que celui-ci ait exercé sur elle des pressions d'ordre psychique, voire abusé de sa détresse ou d'un lien de dépendance pour parvenir à ses fins; toutefois, au vu des nombreuses contradictions, inexactitudes et incohérences que comportaient les déclarations de la plaignante, il n'était pas exclu non plus que celle-ci ait consenti librement aux actes d'ordre sexuel proposés par le prévenu. Le prévenu a ainsi été acquitté. Le Service juridique du Département des finances et des affaires sociales du canton de Neuchâtel a été chargé d'instruire à l'intention du Conseil d'Etat une procédure de résiliation des rapports de service de X._. Par décision du 17 mars 2004, le Conseil d'Etat a prononcé la résiliation des rapports de service de X._ avec effet au 30 juin 2004. Estimant qu'il n'y avait pas lieu de s'écarter du jugement pénal, il a considéré que X._ avait eu des attitudes à connotation sexuelle inadéquates à l'égard de membres du personnel et à tout le moins d'une requérante d'asile, de sorte qu'en vertu des règles de la bonne foi la continuation des rapports de service n'était pas possible. Par décision du 17 mars 2004, le Conseil d'Etat a prononcé la résiliation des rapports de service de X._ avec effet au 30 juin 2004. Estimant qu'il n'y avait pas lieu de s'écarter du jugement pénal, il a considéré que X._ avait eu des attitudes à connotation sexuelle inadéquates à l'égard de membres du personnel et à tout le moins d'une requérante d'asile, de sorte qu'en vertu des règles de la bonne foi la continuation des rapports de service n'était pas possible. B. X._ a déféré cette décision au Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal administratif), qui a rejeté le recours par arrêt du 4 juin, notifié sous pli portant sceau postal du 7 juin 2004. Le 4 juin 2004, X._ a adressé au Tribunal administratif un courrier où il alléguait des faits nouveaux. A réception de l'arrêt de la même date, il a précisé que son intervention devait être traitée comme une demande de révision dudit arrêt. Par arrêt du 28 juin 2004, le Tribunal administratif a déclaré la demande de révision mal fondée. Il a considéré en substance que si les faits allégués étaient bien nouveaux, ils n'étaient pas de nature à modifier l'état de fait à la base de son premier arrêt et à conduire à une appréciation juridique différente. Par arrêt du 28 juin 2004, le Tribunal administratif a déclaré la demande de révision mal fondée. Il a considéré en substance que si les faits allégués étaient bien nouveaux, ils n'étaient pas de nature à modifier l'état de fait à la base de son premier arrêt et à conduire à une appréciation juridique différente. C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler les arrêts du Tribunal administratif des 4 et 28 juin 2004, sous suite de frais et dépens. Il requiert également que son recours ait effet suspensif. Il se plaint d'une violation de son droit d'être entendu. Le Tribunal administratif conclut au rejet du recours en renvoyant à la motivation des arrêts attaqués. Le Conseil d'Etat a déposé une détermination où il se prononce dans le même sens. Par ordonnance présidentielle du 19 août 2004, la demande d'effet suspensif a été rejetée. 