Faits: A. X._ est avocat à Genève. Le 12 novembre 2002, accompagné de deux avocats stagiaires de son étude, il s'est rendu à la prison de Champ-Dollon pour y conférer avec l'un de ses clients. A l'entrée de la prison, il a été soumis au contrôle de sécurité, consistant pour lui à franchir un portique équipé d'un magnétomètre. A plusieurs reprises, cet appareil a émis un signal sonore indiquant la présence de métal. X._ a vidé ses poches et s'est délesté de plusieurs objets qu'il portait sur lui. En vain: l'alarme s'est déclenchée à chaque fois qu'il est passé sous le portique. L'huissier de service lui a alors demandé de retirer soit sa ceinture, soit ses chaussures, ce qu'il a refusé de faire, tout en offrant de se soumettre à une fouille corporelle. Appelé à sa demande, le directeur adjoint de la prison a confirmé à X._ qu'il ne serait admis dans le secteur réservé aux visiteurs qu'après avoir franchi avec succès l'épreuve du magnétomètre. Sur ces entrefaites, l'avocat a quitté les lieux. X._ a entrepris le refus de la prison de le laisser rencontrer son client devant le Tribunal administratif du canton de Genève, qui l'a débouté par arrêt du 21 octobre 2003, en considérant, en bref, que l'obligation pour les visiteurs de la prison de se soumettre au contrôle de sécurité, selon les modalités prévues, ne violait pas la liberté personnelle garantie par la Constitution. B. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt du 21 octobre 2003. Il invoque les art. 8, 9, 10, 27 et 36 Cst. Le Tribunal administratif se réfère à son arrêt. Le directeur de la prison de Champ-Dollon conclut au rejet du recours. 