Faits: A. En février 2002, l'Etat de Genève a introduit, à des fins conservatoires, une action en responsabilité contre la Confédération auprès du Département fédéral des finances (ci-après: le Département fédéral). Il reprochait à la Commission fédérale des banques d'avoir manqué à ses devoirs dans la surveillance de plusieurs établissements bancaires genevois. Diverses autres procédures, notamment sur les plans civil et pénal, ont été ouvertes dans le même contexte devant les autorités judiciaires genevoises. Le 25 avril 2002, le Département fédéral a suspendu la procédure introduite en février 2002. L'Etat de Genève a demandé deux fois, en décembre 2003 et en septembre 2005, au Département fédéral de reprendre la procédure. Ce dernier a refusé par décisions incidentes des 20 avril 2004 et 24 mars 2006, estimant qu'il convenait de maintenir la suspension jusqu'à droit jugé sur les procédures pénale et civile ouvertes auprès des juridictions genevoises. Les recours déposés par l'Etat de Genève à l'encontre de ces décisions ont été rejetés par la Commission fédérale de recours en matière de responsabilité de l'Etat, les 10 septembre 2004 et 14 septembre 2006. La composition de cette autorité, lorsqu'elle a statué, comprenait notamment le juge X._, qui présidait le collège. B. Le 31 décembre 2006, les commissions fédérales de recours ont été dissoutes, leurs compétences étant transférées au Tribunal administratif fédéral, qui a commencé ses activités le 1er janvier 2007. X._ est juge auprès de la Chambre I de la Cour I du Tribunal administratif fédéral, qui a notamment repris les compétences de la Commission fédérale de recours en matière de responsabilité de l'Etat. C. Le 19 juillet 2007, l'Etat de Genève a une nouvelle fois demandé au Département fédéral la reprise de la procédure. La requête ayant été rejetée le 14 janvier 2008, l'Etat de Genève a recouru devant le Tribunal administratif fédéral. Le 21 février 2008, le Tribunal administratif fédéral a informé l'Etat de Genève que les membres du collège appelés à statuer sur le fond de la cause seraient X._, en tant que juge instructeur, Y._ et Z._. Une éventuelle demande de récusation pouvait être déposée jusqu'au 13 mars 2008. Le 12 mars 2008, l'Etat de Genève a sollicité la récusation du juge instructeur X._, en raison de sa participation, en qualité de président, aux décisions rendues précédemment par la Commission fédérale de recours en matière de responsabilité de l'Etat au sujet de la suspension de la procédure. Par décision incidente du 2 septembre 2008, le Tribunal administratif fédéral a rejeté la demande de récusation formée par l'Etat de Genève. D. Contre cette décision, l'Etat de Genève interjette un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de dépens, à l'annulation de la décision attaquée et à ce que le Tribunal administratif fédéral soit invité à récuser le juge X._, ainsi qu'à nommer un nouveau juge pour statuer sur la reprise de l'instruction de la procédure pendante devant le Département fédéral. La Confédération conclut, sous suite de frais, au rejet du recours. Le Tribunal administratif fédéral a, pour sa part, renoncé à se déterminer. 