Faits: A. X._, ressortissant tunisien né en 1972, a épousé, le 13 mars 1998, A._, ressortissante suisse née en 1959. Se fondant sur ce mariage, il a déposé une demande de naturalisation facilitée le 18 janvier 2003. Dans le cadre de l'instruction de cette demande, l'intéressé et son épouse ont contresigné, le 2 juin 2003, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale stable et effective, résider à la même adresse et n'envisager ni séparation, ni divorce. Par décision du 4 août 2003, l'Office fédéral de l'immigration, de l'intégration et de l'émigration (actuellement l'Office fédéral des migrations; ci-après: l'Office fédéral) a accordé la naturalisation facilitée à l'intéressé. B. Le 13 novembre 2007, l'Office fédéral a informé X._ qu'il se voyait contraint d'examiner s'il y avait lieu d'annuler sa décision de naturalisation facilitée, étant donné la séparation de celui-ci d'avec son épouse en juin 2004 et leur divorce entré en force le 21 mars 2005. L'intéressé a répondu, le 9 décembre 2007, qu'aucune séparation ou divorce n'était envisagé au moment de la signature de la déclaration de vie commune en juin 2003 mais que son épouse avait malheureusement subi une crise début 2004, ce qui avait fortement influencé leur couple et incité la prénommée à introduire une procédure de divorce le 17 mai 2004. Il ressort des actes de la procédure de divorce que celle-ci a été ouverte par une requête commune, accompagnée d'une convention sur les effets accessoires, et que le divorce a été prononcé le 20 décembre 2004. Auditionnée le 17 avril 2008, A._ a déclaré qu'elle avait rencontré son ex-mari le 17 octobre 1997 lors de vacances en Tunisie et que c'était elle qui avait proposé le mariage dans le but de vivre ensemble. Leur union s'était bien déroulée jusqu'en janvier 2004, mois au cours duquel elle avait fait un burn-out suivi d'une dépression en raison d'une surcharge professionnelle, tandis que sa mère avait également eu des problèmes de santé; ces éléments avaient eu une influence directe sur sa vie privée. Son ex-époux et elle avaient des loisirs communs, ils s'étaient rendus deux fois en Tunisie où ils avaient logé chez les parents de l'intéressé. Elle a expliqué qu'en raison des horaires de travail irréguliers de son mari, ils ne se voyaient plus beaucoup; à partir de juin 2004, elle n'habitait leur appartement qu'en semaine et elle avait définitivement déménagé en septembre 2004. Son ex-époux avait gardé de bons contacts avec elle et sa famille. Selon un rapport des autorités cantonales genevoises du 25 juin 2008, X._ habitait seul mais partagerait son existence avec une Suissesse, née le 6 juin 1980; le couple aurait des projets, aucune démarche officielle n'étant cependant en cours. L'intéressé avait gardé de très bons contacts avec son ex-épouse et la famille de celle-ci et, selon certains renseignements, il "aurait un ami", ce qu'il avait nié lors d'une entrevue. Le 15 juillet 2008, l'Office fédéral a prononcé l'annulation de la naturalisation facilitée de l'intéressé. Par arrêt du 15 octobre 2010, le Tribunal administratif fédéral a rejeté le recours de l'intéressé contre la décision précitée. Il a considéré en substance que l'examen des faits pertinents de la cause, ainsi que leur déroulement chronologique, amenaient à la conclusion que l'intéressé avait obtenu la naturalisation facilitée de manière frauduleuse. Celui-ci n'avait pas rendu vraisemblable la survenance d'un événement extraordinaire de nature à expliquer une détérioration rapide du lien conjugal. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler la décision du Tribunal administratif fédéral du 15 octobre 2010. Le Tribunal administratif fédéral renonce à prendre position. L'Office fédéral estime que le recours ne contient aucun élément propre à remettre en cause l'arrêt attaqué. Par ordonnance du 10 décembre 2010, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif du recourant. 