Faits : A. Y._ est une société active dans l'immobilier, cotée sur le marché Euronext Paris. Y._ est détenue par la holding de droit luxembourgeois Z._, dont X._ possède la totalité des parts. L'attention de l'Autorité des marchés financiers française (ci-après: AMF) a été attirée par un volume particulièrement élevé de titres Y._ échangés entre le 5 et le 30 avril 2004, qui correspondait, en trois semaines seulement, à la moitié de l'activité du semestre tout entier. En parallèle, l'AMF a constaté que le cours du titre dont la moyenne pondérée sur six mois s'était établie à 5,6 Euros, était monté jusqu'à 6 Euros le 27 avril 2004, alors que ce cours n'avait jamais été atteint ni auparavant (depuis le 1er octobre 2002) ni par la suite (au 30 novembre 2005). Parmi les intervenants sur le titre Y._ au cours de cette période, l'AMF a relevé que la Banque A._ à Genève avait procédé durant les trois semaines d'avril précitées à des ventes massives et inhabituelles représentant 89,9% du volume total de titres Y._ échangés. A titre de comparaison, la Banque A._ n'était intervenue à l'achat et à la vente, entre le 1er janvier et le 26 mars 2004, qu'à concurrence de 22,2% des titres échangés sur l'ensemble du premier trimestre. Lors des trois plus importantes séances des 22, 26 et 27 avril 2004, les ventes de la Banque A._ ont par ailleurs été réalisées hors marché. L'AMF a ouvert une enquête afin de s'assurer que les transactions réalisées n'ont pas été effectuées dans des conditions contraires aux dispositions légales et réglementaires applicables, notamment celles relatives à la manipulation de cours. Par courrier du 23 décembre 2005, l'AMF a sollicité l'assistance administrative de la Commission fédérale des banques afin d'obtenir des informations sur les transactions effectuées par la Banque A._ sur le titre Y._ au cours du mois d'avril 2004. A la demande de la Commission fédérale des banques, la Banque A._ a remis une liste récapitulative des transactions effectuées par elle sur le titre Y._ en avril 2004, qui fait apparaître ce qui suit: Ventes Date Nombre de titres Prix en Euros 01.04.2004 1'000 5.32 02.04.2004 2'600 5.30 05.04.2004 19'445 5.50 07.04.2004 7'731 5.79 20.04.2004 7'699 5.80 21.04.2004 1'740 5.86 22.04.2004 50'000 5.90 22.04.2004 100'000 5.80 22.04.2004 100'000 5.80 23.04.2004 1'812 5.80 23.04.2004 50'000 5.75 26.04.2004 150'000 5.90 27.04.2004 8'770 6.00 27.04.2004 300'000 5.80 la Banque A._ a précisé que toutes ces transactions avaient été effectuées pour le compte de X._ et qu'elles avaient été initiées par l'intéressé lui-même. B. Invité par la Commission fédérale des banques à se déterminer, X._ s'est opposé à la transmission de ces informations à l'autorité française requérante. Dans ses déterminations, il a précisé qu'il dirigeait un groupe de sociétés actives dans l'immobilier parisien à la tête duquel se trouve la société Y._, détenue majoritairement par une holding dont il possède la totalité des parts. Il détenait par ailleurs à titre personnel une participation directe dans la société Y._, dont une partie était en dépôt auprès de la Banque A._ à Genève au printemps 2004. En raison d'un besoin de liquidités, il avait vendu en avril 2004 800'797 titres Y._ en dépôt auprès de la Banque A._, dont l'essentiel (700'000 titres) avait été vendu hors marché les 22, 26 et 27 avril 2004. A son avis, l'AMF ne disposait pas d'éléments suffisants lui permettant de soupçonner un quelconque dérèglement du marché. La demande de l'AMF était une "fishing expedition". X._ relevait en outre qu'au début 2004, une procédure avait été ouverte par l'Administration fiscale française à l'encontre de différentes sociétés du groupe Y._. Enfin, la requête de l'AMF de décembre 2005 faisait suite à une première requête similaire de mai 2005 suite à la vente entre octobre et décembre 2004 de titres de la société B._ appartenant au même groupe; à cette occasion, X._, qui contestait toute manipulation de cours, avait accepté de coopérer avec l'AMF et lui avait transmis les informations requises sous réserve d'une retransmission aux autorités pénales. C. Par courrier du 18 juillet 2006, l'AMF a complété sa requête de décembre 2005 en précisant que la société C._ était l'intermédiaire ayant passé les ordres pour le compte de la Banque A._ au cours de la période faisant l'objet de l'enquête. L'AMF relevait un certain nombre de détails dans la passation des ordres, représentant selon elle des anomalies, en soulignant que la société C._ avait à l'occasion passé le même jour aussi bien des ordres d'achat que des ordres de vente. D. Après déterminations de X._ sur ces informations complémentaires, la Chambre d'entraide internationale de la Commission fédérale des banques a décidé le 26 septembre 2006 d'accorder l'entraide administrative à l'AMF, en lui transmettant la liste des ventes effectuées par X._ sur son compte auprès de la Banque A._ représentant 800'797 titres pour une valeur de plus de 4,6 millions d'Euros. La transmission des informations en cause devait être accompagnée des explications données par X._. Par ailleurs, la Commission fédérale des banques rappelait expressément à l'AMF que les informations transmises ne devaient être utilisées que pour la mise en oeuvre de la réglementation sur les bourses et le commerce des valeurs mobilières et ne pouvaient être retransmises à d'autres autorités, notamment pénales, qu'à cet effet; une retransmission à d'autres fins nécessitait le consentement de la Commission fédérale des banques. Agissant par la voie du recours de droit administratif en date du 9 octobre 2006, X._ conclut à l'annulation de la décision du 26 septembre 2006 et au rejet de la requête d'entraide. Dans sa réponse, la Commission fédérale des banques conclut au rejet du recours. 