Faits: Faits: A. X._ est spécialiste FMH en psychiatrie et psychothérapie. Y._ a été soignée par lui de 1988 ou 1989 à la fin de l'année 1997 et par un de ses confrères à partir de l'automne 1998. D'entente avec ce confrère, X._ a encore établi, le 10 novembre 1998, un rapport concernant Y._ à l'intention de l'Office cantonal AI du canton de Genève (ci-après: l'Office cantonal). Y._ est tombée amoureuse de X._ alors qu'elle était en traitement chez lui, mais ce n'est qu'en juin 1998 qu'ils ont commencé à entretenir des relations intimes qui ont duré jusqu'en été 1999. Le 3 février 2000, Y._ a saisi la Commission de surveillance des professions de la santé du canton du Genève (ci-après: la Commission) d'une plainte à l'encontre de X._. Elle prétendait que ce médecin avait commis une faute professionnelle grave qui lui avait causé beaucoup de tort: un mémoire annexé à sa plainte décrivait les relations qu'elle avait eues avec X._, en particulier la liaison qu'ils avaient entretenue à partir du mois de juin 1998. Se fondant en particulier sur le préavis émis par la Commission le 15 février 2001, le Conseil d'Etat du canton de Genève (ci-après: le Conseil d'Etat) a prononcé, le 27 juin 2001, la radiation de l'inscription de X._ dans le registre des médecins pour une durée de six mois, pendant lesquels il était interdit à l'intéressé d'exercer la profession de médecin dans le canton de Genève. Se fondant en particulier sur le préavis émis par la Commission le 15 février 2001, le Conseil d'Etat du canton de Genève (ci-après: le Conseil d'Etat) a prononcé, le 27 juin 2001, la radiation de l'inscription de X._ dans le registre des médecins pour une durée de six mois, pendant lesquels il était interdit à l'intéressé d'exercer la profession de médecin dans le canton de Genève. B. Par arrêt du 23 septembre 2003, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a rejeté le recours formé par X._ contre l'arrêté du Conseil d'Etat du 27 juin 2001. Il a considéré en particulier que X._ avait eu un comportement fautif en nouant des relations intimes avec une ancienne patiente alors qu'elle souffrait de graves troubles de la personnalité ou était dans une situation de grande dépendance. Le fait que Y._ se trouvait dans un tel état ressortait notamment du rapport rédigé le 10 novembre 1998 par X._, de sorte qu'il aurait dû au moins cesser toute liaison avec elle à cette date. Il convenait donc de sanctionner l'intéressé en respectant le principe de la proportionnalité. Le Tribunal administratif a estimé que la mesure prise par le Conseil d'Etat était adéquate. B. Par arrêt du 23 septembre 2003, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a rejeté le recours formé par X._ contre l'arrêté du Conseil d'Etat du 27 juin 2001. Il a considéré en particulier que X._ avait eu un comportement fautif en nouant des relations intimes avec une ancienne patiente alors qu'elle souffrait de graves troubles de la personnalité ou était dans une situation de grande dépendance. Le fait que Y._ se trouvait dans un tel état ressortait notamment du rapport rédigé le 10 novembre 1998 par X._, de sorte qu'il aurait dû au moins cesser toute liaison avec elle à cette date. Il convenait donc de sanctionner l'intéressé en respectant le principe de la proportionnalité. Le Tribunal administratif a estimé que la mesure prise par le Conseil d'Etat était adéquate. C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif du 23 septembre 2003. Il se plaint que le Tribunal administratif ait enfreint le principe de l'interdiction de l'arbitraire consacré par l'art. 9 Cst. Il reproche aussi à l'autorité intimée d'avoir porté atteinte à sa liberté économique garantie à l'art. 27 Cst. en ne respectant pas l'art. 36 Cst., en particulier en violant le principe de la proportionnalité, qui figure aussi à l'art. 5 al. 2 Cst. Le Tribunal administratif a renoncé à formuler des observations sur le recours, tout en se référant à l'arrêt attaqué. Le Conseil d'Etat demande au Tribunal fédéral, sous suite de frais et dépens, de rejeter le recours dans la mesure où il est recevable et de confirmer l'arrêt attaqué. Le Tribunal administratif a renoncé à formuler des observations sur le recours, tout en se référant à l'arrêt attaqué. Le Conseil d'Etat demande au Tribunal fédéral, sous suite de frais et dépens, de rejeter le recours dans la mesure où il est recevable et de confirmer l'arrêt attaqué. D. Par ordonnance du 27 novembre 2003, le Président de la IIe Cour de droit public a admis la requête d'effet suspensif présentée par X._. 