Faits: A. A._, ressortissant kosovar né le 15 février 1978, est entré en Suisse le 28 février 1997 et y a déposé une demande d'asile. Par décision du 24 novembre 1997, l'Office fédéral des réfugiés (actuellement l'Office fédéral des migrations; ci-après: l'Office fédéral) a rejeté sa requête et prononcé son renvoi de Suisse. Le recours formé contre cette décision a été déclaré irrecevable le 28 avril 1998 par la Commission suisse de recours en matière d'asile. Le 27 mai 1999, l'intéressé a été mis au bénéfice de l'admission provisoire collective, conformément à l'arrêté du Conseil fédéral du 7 avril 1999. Cette mesure collective a été levée par décision du Conseil fédéral du 16 août 1999. Le 14 janvier 2000, A._ a contracté mariage avec B._, ressortissante suisse née le 5 mars 1979. Il a de ce fait été mis au bénéfice d'une autorisation de séjour afin de pouvoir vivre auprès de son épouse. Aucun enfant n'est issu de cette union. Le 3 février 2003, l'intéressé a déposé une demande de naturalisation facilitée. Dans le cadre de l'instruction de cette demande, le requérant et son épouse ont contresigné, le 2 septembre 2003, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Par décision du 7 octobre 2003, l'Office fédéral a accordé la naturalisation requise. Le 29 mai 2007, les époux A._ et B._ ont introduit une requête commune de divorce et la dissolution de leur mariage a été prononcée par jugement du 11 octobre 2007. B. Le 9 mai 2008, l'Office fédéral a informé A._ qu'il envisageait d'ouvrir une procédure visant à l'annulation de sa naturalisation facilitée, compte tenu notamment du fait que, selon les informations transmises par les autorités cantonales, les époux A._ et B._ avaient vécu séparés depuis 2004 et le divorce avait été prononcé sans qu'il n'y ait eu reprise de la vie commune. Dans ses observations du 23 mai 2008, A._ a indiqué qu'il avait fait connaissance de sa future épouse en 1997 et qu'ils avaient vécu ensemble à partir de la mi-1998. La vie conjugale s'était fort bien déroulée pendant plusieurs années, les premières difficultés étant survenues à la fin 2004. Ils s'étaient séparés le 16 décembre 2004 mais avaient continué à se voir régulièrement et à entretenir des relations intimes jusqu'au début de l'année 2007. Ne désirant pas "chicaner son épouse", l'intéressé s'était rallié à la volonté de celle-ci de divorcer. Il leur était arrivé ce qui arrive à beaucoup de couples, "à savoir que tout à coup une désunion s'installe et que l'un des deux souhaite se séparer". Le 16 juin 2008, B._ a répondu par écrit à un questionnaire sur les circonstances de sa rencontre et de son mariage avec l'intéressé, ainsi que sur sa vie conjugale et les raisons de sa séparation et de son divorce. A._ a contesté la teneur de certaines réponses de son ex-épouse. Il a notamment réaffirmé que les premières difficultés du couple étaient survenues à la fin de l'année 2004 et non en 2002 comme l'indiquait celle-ci. Il a également souligné que leur séparation était due à des raisons financières et à l'éloignement de son épouse pour motif de formation à l'école hôtelière à Thoune. Il a encore produit trois déclarations écrites de tiers à l'appui de ses propos. Par décision du 25 septembre 2008, l'Office fédéral a prononcé, avec l'assentiment des autorités cantonales compétentes, l'annulation de la naturalisation facilitée accordée à A._. Le 23 janvier 2009, l'intéressé a contracté mariage avec une ressortissante serbe, titulaire d'une autorisation d'établissement dans le canton de Neuchâtel, avec laquelle il faisait ménage commun depuis le mois d'avril 2007 selon le registre de contrôle des habitants de la ville de Neuchâtel. C. Par arrêt du 25 novembre 2009, le Tribunal administratif fédéral a rejeté le recours de l'intéressé contre la décision précitée. Il a considéré en substance que l'examen des faits pertinents de la cause, ainsi que leur déroulement chronologique, amenaient à la conclusion que l'intéressé avait obtenu la naturalisation facilitée de manière frauduleuse. Celui-ci n'avait par ailleurs pas rendu vraisemblable la survenance d'un événement extraordinaire susceptible d'expliquer la détérioration du lien conjugal. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif fédéral du 25 novembre 2009 et de dire qu'il y a lieu de maintenir la naturalisation facilitée qui lui a été accordée le 7 octobre 2003. Subsidiairement, il conclut au renvoi de la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants. Il dit se plaindre d'un établissement inexact des faits et d'une violation du droit fédéral. Le Tribunal administratif fédéral ainsi que l'Office fédéral ont renoncé à se déterminer. Par ordonnance du 19 janvier 2010, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par le recourant. 