Faits: A. A._, ressortissant algérien né en 1977, est arrivé en Suisse en juillet 1998, afin d'y étudier l'architecture. Le 7 janvier 2000, il a contracté mariage avec B._, citoyenne suisse née en 1966, divorcée et mère de deux enfants. Le 4 avril 2003, A._ a déposé une demande de naturalisation facilitée fondée sur son mariage. Les époux ont contresigné, le 24 octobre 2003, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. La déclaration signée précisait en outre que "si cet état de fait était dissimulé", la naturalisation facilitée pouvait être annulée dans les cinq ans. Par décision du 24 novembre 2003, l'Office fédéral de l'immigration, de l'intégration et de l'émigration (IMES, actuellement l'Office fédéral des migrations [ci-après: l'ODM]) a accordé la naturalisation facilitée à A._. B. Le 16 novembre 2004, les époux ont introduit une requête commune de divorce auprès du Tribunal civil du district du Locle. Par jugement du 24 mars 2005, cette autorité a prononcé la dissolution du mariage. Le 8 juillet 2005, A._ a épousé une ressortissante tunisienne née en 1968. Deux enfants sont nés de cette union en août 2005 et en mars 2007. B._ a quant à elle épousé C._ le 13 décembre 2005. Le 5 septembre 2005, l'ODM a informé A._ qu'il se voyait contraint d'examiner s'il y avait lieu d'annuler la naturalisation facilitée. Par divers courriers datés de septembre et d'octobre 2005, A._ expliqua par l'entremise de son conseil, qu'au cours de la période qui a suivi la signature de la déclaration commune la relation du couple s'était gravement dégradée. Il a également signalé un rapport de renseignements établi par la police neuchâteloise daté du 12 août 2003, lequel ferait état d'un foyer familial paraissant uni et serein. Entendue par la gendarmerie du Locle le 7 janvier 2006, B._ a exposé que leur union s'était bien déroulée durant les deux premières années de mariage, mais que par la suite A._ avait changé de comportement: il participait peu aux frais du ménage, crachait sur elle, l'avait forcée à avoir des relations sexuelles, l'avait isolée socialement et rabaissé psychologiquement; il avait refusé qu'elle l'accompagne durant ses trois voyages en Algérie et lui avait demandé d'avorter à deux reprises, puis de se faire stériliser; enfin, il sortait seul le week-end pour la tromper. Elle ne se souvenait pas d'avoir signé une déclaration commune concernant la communauté conjugale et pensait que A._ la lui avait présentée comme un document quelconque. Elle a précisé que les difficultés conjugales étaient survenues après le 24 octobre 2003, sauf pour les humiliations et les viols et qu'elle avait été surprise lorsqu'il lui avait demandé de divorcer. Elle a encore ajouté qu'après l'octroi de sa naturalisation, A._ avait puisé sur son compte pour le paiement des factures et s'était bagarré avec ses deux enfants. Elle a enfin estimé qu'il avait profité d'elle pour acquérir la nationalité suisse. Le 16 janvier 2006, B._ a déposé plainte pénale contre son ex-époux pour contrainte sexuelle, viol, voies de fait contre un enfant et violation du devoir d'assistance et d'éducation. Au cours de l'audition du 20 février 2006, A._ a contesté les accusations portées à son encontre. Il a précisé que les problèmes conjugaux avaient débuté à l'époque du retour du fils de son ex-épouse dans leur foyer. Le 5 avril 2006, A._ s'est déterminé sur les déclarations de son ex-épouse et a précisé que celle-ci avait un équilibre psychologique précaire. Il ressort en effet de plusieurs rapports médicaux que B._ était traitée pour un trouble affectif bipolaire, qu'elle avait souffert de troubles du comportement liés à la consommation d'alcool et qu'elle était abstinente depuis 1998, avec quelques rechutes ponctuelles. Elle avait été hospitalisée à deux reprises dans un hôpital psychiatrique, de février à mai 2004, puis de juin à juillet 2005. Les 9 juin et 14 septembre 2006, A._ a notamment exposé que son ex-épouse avait subi un avortement à la double raison qu'elle prenait des médicaments susceptibles de causer des malformations au foetus et que le couple n'avait pas les moyens financiers pour entretenir un enfant. Il a confirmé disposer d'une procuration sur le compte de son ex-épouse et avoir effectué trois voyages dans son pays d'origine sans celle-ci, car la situation sécuritaire en Algérie était préoccupante. Par jugement du 9 janvier 2007, le Tribunal correctionnel du district du Locle a acquitté A._ de l'ensemble des faits retenus contre lui. Il a considéré en substance que la description des viols était peu convaincante et que les témoignages recueillis durant l'instruction étaient, en majeure partie, à décharge de l'intéressé. C. Par décision du 11 avril 2008, l'ODM a prononcé, avec l'assentiment de l'autorité cantonale compétente, l'annulation de la naturalisation facilitée accordée à A._ ainsi qu'à ses enfants. En substance, il a retenu que le mariage n'était pas constitutif d'une communauté conjugale effective et stable lors de la signature de la déclaration commune du 24 octobre 2003 et de l'octroi de la naturalisation facilitée, de sorte que celle-ci avait été obtenue sur la base de déclarations mensongères, voire de dissimulation de faits essentiels. Le Tribunal administratif fédéral a confirmé la décision de l'ODM dans un arrêt rendu le 10 septembre 2009. Il a considéré en substance que l'enchaînement rapide des événements fondait la présomption que la communauté conjugale des intéressés n'était plus étroite et effective au moment de la signature de la déclaration commune, les éléments avancés par A._ n'étant pas suffisants pour renverser cette présomption. D. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral d'annuler cet arrêt et de constater qu'il dispose de la nationalité suisse. Il conclut subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. Il se plaint d'une appréciation arbitraire des preuves, d'un établissement inexact des faits et d'une violation de l'art. 41 de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (LN; RS 141.0). L'ODM et le Tribunal administratif fédéral ont renoncé à se déterminer. 