Faits: A. A._, ressortissant nigérian né en 1968, est arrivé en Suisse le 15 octobre 1997. Deux jours plus tard, il a épousé B._, citoyenne suisse de neuf ans son aînée, qu'il avait rencontrée en 1996 en Italie. Il s'est ainsi vu délivrer une autorisation de séjour. Le 15 octobre 2002, A._ a déposé une demande de naturalisation facilitée fondée sur son mariage. Dans le cadre de l'instruction de cette demande, les époux ont contresigné, le 25 janvier 2004, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Leur attention a été attirée sur le fait que la naturalisation facilitée ne pouvait pas être octroyée lorsque, avant ou pendant la procédure de naturalisation, l'un des époux demandait le divorce ou la séparation, ou lorsque la communauté conjugale effective n'existait plus. La déclaration signée précisait en outre que si cet état de fait était dissimulé, la naturalisation facilitée pouvait être annulée dans les cinq ans. Par décision du 25 mars 2004, l'Office fédéral de l'immigration, de l'intégration et de l'émigration (IMES devenu l'Office fédéral des migrations [ci-après: l'ODM]) a accordé la naturalisation facilitée à A._. B. En août 2004, le prénommé a appris que B._ entretenait une relation adultérine. Le 24 septembre 2004, le couple s'est séparé. Une première demande de mesures protectrices de l'union conjugale a été déposée le 19 novembre 2004 et rejetée le 7 décembre 2004. Une seconde requête, datée du 19 janvier 2005, a été admise le 22 février 2005. Le 17 janvier 2005, B._ a déclaré au Service des naturalisations du canton de Genève avoir déposé plainte contre son mari, en raison des violences conjugales subies. C. Le 3 mars 2005, l'ODM a informé le prénommé qu'il allait examiner la possibilité d'ouvrir une procédure en annulation de sa naturalisation facilitée et l'a invité à se déterminer. Dans un courrier du 21 mars 2005, B._ a expliqué avoir quitté le domicile conjugal le 24 septembre 2004, à la suite de violences tant physiques que psychiques émanant de son mari; elle a précisé que cela durait depuis 1998 et que la raison pour laquelle le prénommé s'était intéressé à elle était l'obtention d'un passeport suisse. Par courrier du 17 mai 2005, A._ a notamment répondu que la situation du couple s'était dégradée au mois d'août 2004 et que ses tentatives pour sauver son couple n'avaient pas abouti. Entendue le 14 juin 2005 par l'autorité cantonale compétente, l'épouse du prénommé a expliqué qu'en raison de différences culturelles, le couple avait connu des problèmes durant toute la période de vie commune; elle avait subi "des brutalités verbales quotidiennes et physiques au moins une fois l'an"; les époux n'avaient jamais envisagé de séparation ou de divorce avant ou pendant la procédure de naturalisation ou lors de la signature de la déclaration commune. Elle a encore affirmé savoir que son époux avait entretenu des relations extraconjugales. Par lettre du 18 juillet 2005, A._ s'est déterminé sur les déclarations de son épouse et a précisé que son épouse avait décidé de manière unilatérale de quitter le domicile conjugal. Il a admis avoir giflé son épouse en 2001 lors d'une soirée dans un dancing, mais a contesté tous les autres actes de violence qui lui étaient reprochés ainsi que ses prétendues infidélités. Par courriers des 8 et 25 novembre 2005, B._ a répondu aux observations de A._, tout en relevant les difficultés récurrentes de communication et les nombreuses disputes, ayant émaillé leur vie commune. Par jugement du 21 février 2008, le Tribunal de première instance du canton de Genève a prononcé la dissolution du mariage des prénommés. Le 21 janvier 2009, A._ a adressé un courrier à l'ODM et produit deux lettres de connaissance du couple. Le 27 février 2009, le prénommé s'est déterminé sur le fait qu'il ressortirait de pièces du dossier, mises au bénéfice de l'art. 27 al. 1 de la loi fédérale du 20 décembre 1968 sur la procédure administrative (PA; RS 172.021), qu'il se serait à plusieurs reprises comporté de manière violente à l'égard de son ex-épouse durant la période où ils faisaient ménage commun et qu'il aurait entretenu des relations extraconjugales: il a contesté ces éléments. D. Par décision du 6 mars 2009, l'ODM a prononcé, avec l'assentiment de l'autorité cantonale compétente, l'annulation de la naturalisation facilitée accordée à A._. En substance, il a retenu que l'octroi de la naturalisation facilitée s'était fait sur la base de déclarations mensongères, voire de dissimulation de faits essentiels. Le Tribunal administratif fédéral a confirmé la décision de l'ODM dans un arrêt rendu le 3 novembre 2011. Il a considéré en particulier que l'enchaînement rapide des événements fondait la présomption que la communauté conjugale des intéressés n'était plus étroite et effective au moment de la signature de la déclaration commune, les éléments avancés par A._ n'étant pas suffisants pour renverser cette présomption. E. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif fédéral et de dire qu'il conserve sa nationalité suisse. L'ODM et le Tribunal administratif fédéral ont renoncé à se déterminer. 