Faits: A. Le 17 septembre 1998, A._, ressortissant marocain, né en 1977, est entré en Suisse pour y suivre des études à l'Ecole d'ingénieurs du canton de Neuchâtel. Il a été mis au bénéfice d'une autorisation de séjour annuelle. En 1999, comme il poursuivait ses études à l'Ecole d'ingénieurs et d'architectes de Fribourg, son autorisation de séjour annuelle a été renouvelée par le Service de la police des étrangers et des passeports du canton de Fribourg (actuellement le Service de la population et des migrants [ci-après: SPoMi]) jusqu'au 31 décembre 2001. Au courant du mois d'octobre 2000, il a fait la connaissance de B._, ressortissante suisse, née en 1957. Deux à trois mois plus tard, A._ s'est installé au domicile de sa future épouse. Le 26 janvier 2002, il a contracté mariage devant l'état civil de Surpierre (FR) avec B._. Ensuite de ce mariage, il a obtenu de l'autorité cantonale compétente, au titre de regroupement familial, une autorisation de séjour qui a été renouvelée jusqu'au 26 janvier 2004. Par formulaire du 23 septembre 2003, l'intéressé a informé le SPoMi de son changement d'adresse à Villars-sur-Glâne, effectué le 15 juillet 2003. Lors de sa demande de prolongation de l'autorisation de séjour déposée le 1er décembre 2003, A._ a indiqué à l'autorité cantonale qu'il était toujours marié mais qu'il faisait domicile séparé avec son épouse pour prendre "un peu de recul". L'épouse a également confirmé vivre séparée de son époux et avoir besoin de temps pour prendre une décision quant à la reprise d'une vie commune. Le 25 février 2004, le SPoMi a renouvelé l'autorisation de séjour pour une durée d'une année, tout en informant A._ qu'un examen de sa situation matrimoniale serait à nouveau effectué à l'échéance de l'autorisation afin de vérifier l'existence ou non d'un abus de droit, entraînant le cas échéant, la révocation de l'autorisation. Par courrier du 1er avril 2004, les époux A._ ont avisé le SPoMi qu'ils avaient repris la vie commune le 15 mars 2004, fait confirmé par le Contrôle des habitants de la commune de Villars-sur-Glâne. Le 10 novembre 2004, A._ a rempli à l'attention de l'Office fédéral des migrations (ci-après: ODM) une demande de naturalisation facilitée fondée sur son mariage avec B._ (art. 27 de la loi sur la nationalité [LN, RS 141.0]). Dans le cadre de l'instruction de cette demande, les époux A._ont signé, le 7 février 2006, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective, à la même adresse. Ils ont aussi attesté avoir pris connaissance du fait que la naturalisation facilitée ne pouvait pas être octroyée lorsque, avant ou pendant la procédure de naturalisation, la communauté conjugale effective n'existait plus, notamment si l'un des conjoints demandait le divorce ou la séparation, et que, si cet état de fait était dissimulé, la naturalisation facilitée pouvait être annulée ultérieurement, conformément au droit en vigueur. Par décision du 6 juillet 2006, l'ODM a accordé la naturalisation facilitée à A._ en application de l'art. 27 LN, lui conférant par là-même les droits de cité cantonal et communal de son épouse. B. Par jugement du 1er avril 2008, entré en force le 8 mai 2008, le Président du Tribunal civil de l'arrondissement de la Sarine a prononcé la dissolution du mariage de A._ et B._ faisant suite à une requête commune du 5 novembre 2007. Le Service de l'état civil et des naturalisations du canton de Fribourg a informé l'ODM du divorce précité et a dénoncé formellement le cas de l'intéressé en vue d'une annulation de la naturalisation facilitée, compte tenu du court laps de temps écoulé entre la naturalisation et le divorce, de la différence d'âge des époux (20 ans) et de l'absence d'enfants communs. Le 4 février 2010, l'ODM a informé A._ qu'au vu du récent prononcé du divorce, il lui appartenait d'examiner si la naturalisation ne devait pas être annulée. L'intéressé a fait part de ses observations le 18 février 2010. Egalement invitée à se déterminer, B._ a indiqué, par courrier du 17 février 2010, qu'elle avait rencontré l'intéressé en 2000, qu'ils avaient rapidement décidé de se marier, qu'une bonne entente régnait au sein de leur couple et que le divorce trouvait son origine dans la vie stressante qui était la leur. Elle a également été entendue, le 7 juin 2010, par les autorités fribourgeoises sur les circonstances de sa rencontre avec son ex-époux. Le procès-verbal de l'audition a été transmis à A._ qui a souligné que son ex-épouse avait répondu en toute transparence. Les autorités compétentes du canton de Fribourg ont donné, le 15 septembre 2010, leur assentiment à l'annulation de la naturalisation facilitée conférée à A._. C. Par décision du 27 octobre 2010, l'ODM a prononcé l'annulation de la naturalisation facilitée en se fondant sur l'art. 41 LN. Le 29 novembre 2010, A._ a recouru contre cette décision auprès du Tribunal administratif fédéral, en concluant à son annulation. Il a en premier lieu contesté avoir trompé l'autorité en signant la déclaration du 7 février 2006 car il formait à ce moment une union conjugale stable et effective. Il a souligné que la question d'une séparation du couple ne s'était posée que dans le courant de l'été 2007 en raison de difficultés conjugales survenues au début de l'année 2007 et trouvant leur origine dans la jalousie manifestée par son ex-épouse et dans l'évolution des attentes de celle-ci quant à leur mariage. Il a également confirmé qu'il n'existait aucun événement extraordinaire ayant conduit au divorce et qu'il n'était pas à l'origine des difficultés conjugales. Il a expliqué que l'absence d'enfants communs et la possibilité pour chacun des époux de subvenir à leurs propres besoins avaient permis de régler rapidement les questions liées au prononcé du divorce. Il a relevé que son mariage avait été mûrement réfléchi et était intervenu après deux ans de vie commune et que la requête en naturalisation avait été déposée après presque cinq ans de relation affective. Il a justifié le peu de contact de son épouse avec sa famille au Maroc par le fait qu'elle ne supportait pas le climat, qu'elle avait préféré lui laisser du temps seul avec sa famille et qu'en raison de son âge, les relations avec la belle-famille étaient moins essentielles. Interrogé sur la location au nom de B._, d'un studio en ville de Fribourg dès le 1er octobre 2005, en sus de l'appartement conjugal, A._ a précisé que ses horaires de travail irréguliers étaient à l'origine de cette location. Il a également mentionné les difficultés de sommeil de son épouse ainsi que le stockage de matériel informatique pour un projet professionnel. Il a toutefois confirmé partager l'appartement commun jusqu'à leur séparation, même s'il avait procédé à un changement d'adresse sur le plan administratif depuis le 1er novembre 2007. A l'appui de son recours, il a également mis en évidence les bons rapports entretenus avec sa belle-famille. D. Le Tribunal administratif fédéral a rejeté le recours de l'intéressé par arrêt du 10 février 2012. Il a estimé que l'enchaînement chronologique particulièrement rapide des faits et avant tout le laps de temps relativement court qui s'était écoulé entre l'octroi de la naturalisation facilitée et dépôt de la demande commune de divorce étaient de nature à fonder la présomption de fait que la stabilité du mariage n'existait déjà plus au moment de la déclaration commune, les éléments avancés par A._ n'étant pas suffisants pour renverser cette présomption. E. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif fédéral. Il se plaint d'une constatation arbitraire des faits ainsi que d'une violation de l'art. 41 LN. L'ODM a déposé ses observations. Le Tribunal administratif fédéral a renoncé à se déterminer. 