Faits : A. A.a X._ est le père de A._, née le 4 février 2000, qui est placée sous l'autorité parentale et la garde de sa mère, B._. Un accord des parents concernant le droit de visite a été entériné par ordonnance du 28 février 2002. A la demande conjointe des parties, une curatelle de surveillance des relations personnelles a été instituée par décision du 19 décembre 2002. Une première requête du père tendant à l'instauration d'une curatelle d'assistance éducative a été rejetée par ordonnance de la 5ème Chambre du Tribunal tutélaire de Genève du 23 juin 2003, confirmée par arrêt de l'Autorité de surveillance des tutelles du 29 septembre 2003. Le 9 décembre 2005, la 5ème Chambre du Tribunal tutélaire a suspendu le droit de visite du père en se fondant sur un préavis de la curatrice de l'enfant du jour précédant, qui faisait état d'un incident survenu à l'occasion de l'exercice des relations personnelles au cours du week-end des 3 et 4 décembre 2005. La suspension du droit de visite a été provisoirement levée le 22 décembre suivant et les modalités initiales de celui-ci ont été rétablies par décision du 9 février 2006. A.b Par requête du 1er février 2006, le père a derechef demandé l'instauration d'une curatelle d'assistance éducative. Dans le cadre de cette procédure, il a sollicité l'audition, en qualité de témoin, d'une assistante sociale au Service de protection des mineurs, qui avait été précédemment chargée du mandat de curatelle de surveillance des relations personnelles. Ce témoin a été entendu lors d'une audience tenue le 2 novembre 2006. B. Par demande du 16 novembre 2006, le père a conclu à la récusation de Y._, Présidente de la 5ème Chambre du Tribunal tutélaire, aux motifs que l'instruction de la cause par cette magistrate n'avait cessé d'être empreinte de partialité et d'hostilité à son encontre, qu'elle avait tenu des propos péjoratifs envers des témoins qu'il avait souhaité faire entendre et qu'elle avait refusé que soit posée à l'assistante sociale susmentionnée la question de sa dangerosité présumée à l'égard de sa fille. Par ordonnance du 27 février 2007, communiquée le 5 mars suivant, le Tribunal tutélaire de Genève, statuant sans la juge concernée, a débouté le requérant des fins de sa demande. C. Agissant par la voie d'un recours en matière de droit public - traité comme recours en matière civile - X._ demande au Tribunal fédéral d'annuler l'ordonnance du 27 février 2007. D. Par ordonnance du 26 avril 2007, le président de la cour de céans a attribué l'effet suspensif au recours. 