Faits: A. X._, fondé le 13 octobre 1993, est une association constituée de caisses-maladie et autres organisations qui exercent une activité dans le domaine de l'assurance-maladie. D'après ses statuts dans leur première rédaction, son but était de servir de lien entre les membres dont le rayon d'activité couvre une partie ou tout le territoire suisse, de défendre les intérêts communs des caisses-maladie membres et de leurs assurés ainsi que de sauvegarder un système de santé d'essence libérale, économique et performant. X._ est lié aux différentes sociétés affiliées par des " conventions administratives ", conclues pour de longues périodes. Le but de ces conventions est de régler la répartition des frais et investissements communs, lesquels sont gérés par X._ pour le compte des institutions membres. Le 30 janvier 1996, X._ a été inscrit dans le registre des contribuables à la taxe sur la valeur ajoutée (TVA) avec effet au 1er janvier 1995, sous le numéro 395'702. B. Le 7 août 2000, l'Administration fédérale des contributions (ci-après: l'Administration fédérale) a accepté la demande d'imposition de groupe de l'association X._et de quatorze de ses sociétés affiliées (groupe TVA no 494'695), avec effet au 1er janvier 2000. De ce fait, X._ a été radié en tant que seul assujetti au 31 décembre 1999. Il a remis ses décomptes pour les périodes fiscales du 1er janvier 1995 au 31 décembre 1999 en y déclarant un montant total d'impôt de 78'483 fr., qu'il a entièrement acquitté. Après plusieurs contrôles sur place effectués en juin et août 2000, l'Administration fédérale a établi le décompte complémentaire no 121'469 du 5 septembre 2000, selon lequel X._devait 11'823'534 fr. d'impôt, plus intérêts moratoires, pour les périodes fiscales du 1er janvier 1995 au 31 décembre 1999. La TVA due portait sur une partie des chiffres d'affaires réalisés par l'intéressé, à savoir le produit des travaux informatiques effectués en faveur de tiers, les commissions pour l'apport d'affaires versées par des tiers et la répartition des frais communs relatifs à la gestion administrative des membres. Les cotisations versées à l'association X._ par ses sociétés membres n'étaient pas litigieuses, puisque l'Administration fédérale les avait reconnues comme étant exclues du champ de l'impôt. X._ a contesté le décompte précité, faisant valoir qu'il servait d'intermédiaire entre ses membres et les assurés de ceux-ci, en administrant notamment les contrats d'assurance, à savoir la facturation des primes, leur encaissement, la gestion des débiteurs et des contrats d'assurances ainsi que le règlement des sinistres aux assurés. Or, dans la mesure où il agissait en qualité d'intermédiaire en assurances, ses prestations vis-à-vis de ses membres étaient exclues du champ de l'impôt, en vertu de l'art. 14 ch. 14 de l'ordonnance du 22 juin 1994 régissant la taxe sur la valeur ajoutée (OTVA; RO 1994 1464 et les modifications ultérieures). L'Administration fédérale a rendu une décision formelle le 15 mai 2001, confirmant le décompte litigieux ainsi que la créance d'impôt en découlant. Elle a considéré pour l'essentiel que l'activité de l'intéressé allait " bien au-delà des prestations caractéristiques fournies par un simple intermédiaire d'assurances ". X._ a formé une réclamation contre la décision précitée, concluant en substance à la reconnaissance de sa qualité d'intermédiaire en matière d'assurances pour les activités déployées en faveur de ses membres et à l'exclusion du champ de l'impôt de la rémunération découlant de cette activité. Le 15 août 2005, l'Administration fédérale a rejeté la réclamation. C. Par arrêt du 21 septembre 2007, le Tribunal administratif fédéral a rejeté le recours de X._ contre la décision de l'Administration fédérale du 15 août 2005, dans la mesure où il était recevable. Il a considéré en bref que l'exonération de l'art. 14 ch. 14 OTVA requérait la réalisation de deux conditions distinctes: le contribuable devait être un intermédiaire en assurances (notion technique tant pour l'intermédiarité que pour le concept d'assurance lui-même) et l'on devait être en présence d'opérations relevant de l'activité d'intermédiaire en assurances. Le produit des travaux informatiques effectués en faveur de tiers était un chiffre d'affaires imposable, car ces tâches ne constituaient pas des prestations caractéristiques de la profession d'intermédiaire en assurances. Il en était de même des commissions versées par des tiers pour l'apport d'affaires, cette opération n'étant pas non plus liée à des opérations d'assurance ou typique de celles-ci. Quant à la répartition des frais communs relatifs à la gestion administrative des membres, elle était également imposable. Ces frais étaient d'abord supportés par X._, qui mettait à disposition de ses membres du personnel et des infrastructures et qui les refacturait ensuite à chacun des membres du groupe. L'ensemble de ces frais appartenait donc au prix de revient des opérations accomplies par l'intéressé pour ses membres. Or, une refacturation constituait en principe une opération soumise à la TVA et les frais en cause étaient manifestement des dépenses qui n'étaient pas liées en soi aux opérations d'assurances au sens de l'art. 14 ch. 14 OTVA. D. Agissant par la voie du recours en matière de droit public, X._ demande principalement au Tribunal fédéral de lui reconnaître la qualité d'intermédiaire en matière d'assurances au sens de l'art. 14 ch. 14 OTVA pour les activités déployées en faveur de ses membres et d'admettre en conséquence que la rémunération découlant de cette activité est exclue du champ de l'impôt, d'annuler la décision de l'Administration fédérale du 15 août 2005, sous réserve du montant de 78'744 fr. correspondant aux travaux informatiques en faveur de tiers, d'annuler les intérêts moratoires de 5 % ainsi que l'arrêt du Tribunal administratif fédéral du 21 septembre 2007. Subsidiairement, il conclut à ce que le Tribunal fédéral dise que X._ et ses membres constituent un groupe au sens de l'art. 17 al. 3 OTVA depuis le 1erjanvier 1995, soit avant même le dépôt de la demande formelle, et, plus subsidiairement, que le principe de la neutralité concurrentielle a été violé. Il sollicite en outre le droit de répliquer. Le recourant se plaint pour l'essentiel d'une mauvaise application du droit fédéral, en particulier de l'art. 14 ch. 14 OTVA. Il fait valoir qu'il remplit les conditions de la représentation directe prévue à l'art. 10 al. 1 OTVA, à tout le moins au regard de la modification de la pratique introduite par le nouvel art. 45a de l'ordonnance du 29 mars 2000 relative à la loi sur la TVA (OLTVA; RS 641.201). Il aurait ainsi démontré à satisfaction de droit qu'il agissait en tant qu'intermédiaire en assurances au sens de l'art. 14 ch. 14 OTVA et que les prestations effectuées pour le compte de ses membres, à l'exception des travaux informatiques pour des tiers, étaient par conséquent exclues du champ de l'impôt. Le Tribunal administratif fédéral a renoncé à déposer des observations. L'Administration fédérale conclut au rejet du recours, avec suite de frais. 