Faits: A. X._, ressortissant algérien né en 1969, est entré en Suisse le 18 septembre 1995 et y a déposé une demande d'asile, qui a été rejetée le 9 avril 1996. Une nouvelle demande d'asile, déposée le 15 avril 1998, a fait l'objet d'une décision de non-entrée en matière le 14 mai 1998. Le 18 septembre suivant, X._ a épousé A._, ressortissante suisse née en 1961. Le 19 mars 2003, X._ a déposé une demande de naturalisation facilitée fondée sur son mariage. Dans le cadre de l'instruction de cette demande, les époux ont contresigné, le 17 mai 2004 et le 29 avril 2005, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Leur attention a été attirée sur le fait que la naturalisation facilitée ne pouvait pas être octroyée lorsque, avant ou pendant la procédure de naturalisation, l'un des époux demandait le divorce ou la séparation, ou lorsque la communauté conjugale effective n'existait plus. La déclaration signée précisait en outre que si cet état de fait était dissimulé, la naturalisation facilitée pouvait être ultérieurement annulée. Par décision du 14 juillet 2005, l'Office fédéral des migrations (ci-après: l'Office) a accordé la naturalisation facilitée à X._. B. Le 10 mai 2007, les époux ont déposé auprès du Tribunal civil du district de Neuchâtel une requête commune en divorce avec accord complet sur les effets accessoires, précisant qu'ils vivaient séparés depuis deux mois. Leur mariage a été dissous par jugement de divorce prononcé le 27 septembre 2007. Le 3 février 2010, l'Office a informé X._ qu'il allait examiner la possibilité d'ouvrir une procédure en annulation de sa naturalisation facilitée et l'a invité à se déterminer sur les éléments précités. Dans un courrier du 25 février 2010, l'intéressé a indiqué qu'il vivait en harmonie avec son épouse depuis sept ans au moment de la décision de naturalisation, que leurs relations s'étaient dégradées en 2007 de sorte qu'ils avaient alors décidé d'un commun accord de mettre un terme à leur union. Il précisait que, après avoir passé deux ans aux Etats-Unis d'Amérique, il logeait à nouveau auprès de son ex-épouse. En bref, il contestait avoir fait des déclarations mensongères en vue d'obtenir la nationalité suisse. Auditionnée le 16 avril 2010, A._ a indiqué que son mariage constituait une union effective et stable au moment de la naturalisation de son mari. Selon elle, les problèmes conjugaux du couple avaient commencé en 2006, lorsqu'elle avait trompé son mari; cela avait coïncidé avec le séjour de son mari aux Etats-Unis, pour y régulariser sa situation avec sa « green card ». Au sujet de cet adultère, A._ a ultérieurement précisé qu'il s'agissait d'une aventure isolée et qu'elle ne connaissait que le prénom de son amant d'un soir. Elle a enfin confirmé qu'elle avait à nouveau des contacts avec X._, que celui-ci s'était installé chez elle au début du mois de février 2010 et qu'ils envisageaient de vivre à nouveau ensemble et de se remarier. C. Par décision du 8 juillet 2010, l'Office a prononcé, avec l'assentiment des autorités cantonales fribourgeoise et neuchâteloise, l'annulation de la naturalisation facilitée accordée à X._. Le Tribunal administratif fédéral a confirmé cette décision dans un arrêt rendu le 13 février 2012. Il a considéré en particulier que l'enchaînement rapide des événements fondait la présomption que la communauté conjugale des intéressés n'était plus stable au moment de la signature de la déclaration commune, les éléments avancés par les ex-époux n'étant pas suffisants pour renverser cette présomption. D. Agissant par la voie du recours en matière de droit public, X._ demande principalement au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif fédéral et la décision d'annulation de la naturalisation facilitée prononcée par l'Office ainsi que de confirmer l'octroi de la naturalisation facilitée. Il conclut subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. L'instance inférieure a renoncé à prendre position. L'Office a observé que le recours ne contenait aucun élément propre à remettre en cause l'appréciation des juges précédents. 