Faits: Faits: A. Par décision du 18 octobre 1995, le Conseil d'Etat du canton de Neuchâtel a autorisé X._ à pratiquer la médecine dans ce canton. L'intéressé a ouvert à Y._ un cabinet médical comme spécialiste FMH en chirurgie orthopédique. A la suite de l'ouverture d'une procédure pénale à son encontre pour actes d'ordre sexuel, actes sexuels et abus de détresse sur plusieurs de ses patientes, X._ s'est vu retirer à titre provisoire son autorisation de pratiquer par le Département de la justice, de la santé et de la sécurité du canton de Neuchâtel (ci-après: le Département cantonal) le 7 juin 1997, mesure confirmée par arrêt du Tribunal administratif du canton de Neuchâtel du 14 juillet 1997. Par décision du 4 mai 1998, le Département cantonal a toutefois autorisé l'intéressé à pratiquer en qualité de chirurgien orthopédique auprès d'une clinique privée, à Z._. Cette autorisation, qui était provisoire et devait déployer ses effets jusqu'à droit connu sur le plan pénal, était subordonnée à la condition que X._ ne se trouve jamais seul avec ses patients et que la clinique veille, sous sa responsabilité, à l'application rigoureuse de cette condition. Le 3 février 2000, le Tribunal correctionnel du district de Y._ a condamné X._ pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) et abus de la détresse (art. 193 CP) à une peine de dix-huit mois d'emprisonnement avec sursis pendant cinq ans, ainsi qu'au paiement d'indemnités pour tort moral à deux de ses victimes. Ce jugement a été confirmé le 14 août 2001 par la Cour de cassation pénale du Tribunal cantonal neuchâtelois et le 31 octobre 2001 par la Cour de cassation pénale du Tribunal fédéral. Cette condamnation repose sur des faits survenus à fin 1992 ou début 1993 et, principalement, de décembre 1996 à février 1997. L'intéressé a notamment caressé les seins d'une patiente, massé les fesses, léché un sein et caressé le vagin d'une deuxième patiente et entretenu deux relations sexuelles complètes avec une troisième. Le 3 février 2000, le Tribunal correctionnel du district de Y._ a condamné X._ pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) et abus de la détresse (art. 193 CP) à une peine de dix-huit mois d'emprisonnement avec sursis pendant cinq ans, ainsi qu'au paiement d'indemnités pour tort moral à deux de ses victimes. Ce jugement a été confirmé le 14 août 2001 par la Cour de cassation pénale du Tribunal cantonal neuchâtelois et le 31 octobre 2001 par la Cour de cassation pénale du Tribunal fédéral. Cette condamnation repose sur des faits survenus à fin 1992 ou début 1993 et, principalement, de décembre 1996 à février 1997. L'intéressé a notamment caressé les seins d'une patiente, massé les fesses, léché un sein et caressé le vagin d'une deuxième patiente et entretenu deux relations sexuelles complètes avec une troisième. B. Le 5 juillet 2002, le Département cantonal a retiré à X._ son autorisation de pratiquer comme médecin pour une durée de quatre ans, avec effet dès le 1er octobre 2002, sous déduction de onze mois déjà exécutés (soit de juin 1997 à mai 1998). Saisi d'un recours contre cette décision, le Tribunal administratif, par arrêt du 16 juin 2004, l'a partiellement admis et a réduit la durée du retrait de l'autorisation de pratiquer la profession de médecin à deux ans, sous déduction de onze mois déjà exécutés. Il a retenu en substance que l'autorisation conditionnelle de pratiquer dont X._ bénéficiait depuis mai 1998 ne pouvait pas être rangée dans la liste des sanctions disciplinaires exhaustivement énumérées par la loi et que, n'étant pas assimilable à un retrait partiel de l'autorisation, ne pouvait être maintenue; cela étant, la durée de quatre ans du retrait de l'autorisation n'était pas conforme au principe de la proportionnalité, compte tenu principalement de l'écoulement du temps depuis les faits litigieux, et un retrait d'une durée de deux ans apparaissait approprié à l'ensemble des circonstances. Saisi d'un recours contre cette décision, le Tribunal administratif, par arrêt du 16 juin 2004, l'a partiellement admis et a réduit la durée du retrait de l'autorisation de pratiquer la profession de médecin à deux ans, sous déduction de onze mois déjà exécutés. Il a retenu en substance que l'autorisation conditionnelle de pratiquer dont X._ bénéficiait depuis mai 1998 ne pouvait pas être rangée dans la liste des sanctions disciplinaires exhaustivement énumérées par la loi et que, n'étant pas assimilable à un retrait partiel de l'autorisation, ne pouvait être maintenue; cela étant, la durée de quatre ans du retrait de l'autorisation n'était pas conforme au principe de la proportionnalité, compte tenu principalement de l'écoulement du temps depuis les faits litigieux, et un retrait d'une durée de deux ans apparaissait approprié à l'ensemble des circonstances. C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif du 16 juin 2004. Il se plaint de la violation des art. 27 et 36 Cst. ainsi que d'une application arbitraire du droit cantonal. Le Tribunal administratif et le Département cantonal concluent tous deux au rejet du recours. 