Faits: A. X._, ressortissant guinéen né en 1974, est entré en Suisse le 8 septembre 1997 pour y déposer une demande d'asile. L'Office fédéral des réfugiés (actuellement l'Office fédéral des migrations; ci-après: l'Office fédéral) a rejeté sa requête le 30 octobre 1997 et prononcé son renvoi, lui impartissant un délai au 15 décembre 1997 pour quitter le territoire suisse. Par décision du 28 décembre 1998, la Commission fédérale de recours en matière d'asile n'est pas entrée en matière sur le recours de l'intéressé et lui a imparti un nouveau délai au 15 février 1998 pour quitter le pays. X._ a poursuivi son séjour en Suisse et a contracté mariage, le 2 juillet 1998, avec A._, ressortissante suisse née en 1980. Il a de ce fait été mis au bénéfice d'une autorisation de séjour dans le but de pouvoir vivre auprès de son épouse. Aucun enfant n'est issu de cette union. Le 23 février 2002, l'intéressé a introduit une première requête de naturalisation facilitée, qui a été classée en raison de son caractère prématuré. Le 3 septembre 2002, il a réitéré sa demande, qui a toutefois été suspendue du fait que son casier judiciaire mentionnait une condamnation pénale subie le 5 décembre 2000. Le 10 février 2004, il a déposé une troisième demande de naturalisation facilitée. Dans le cadre de l'instruction de cette demande, le requérant et son épouse ont contresigné, le 22 mars 2005, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, à la même adresse, et n'avoir aucune intention de se séparer ou de divorcer. Par décision du 28 avril 2005, l'Office fédéral a accordé la naturalisation requise. B. Par courrier du 9 juin 2005, le contrôle des habitants de la commune de domicile des époux X._-A._ a signalé à l'Office fédéral que ces derniers avaient élu des domiciles séparés depuis le 30 avril 2005. Le 4 mai 2006, l'Office fédéral a fait savoir à X._ qu'il envisageait, compte tenu de sa séparation d'avec son épouse deux jours seulement après sa naturalisation, d'examiner s'il y avait lieu d'ouvrir une procédure visant à l'annulation de la naturalisation facilitée. Dans les observations qu'elle a déposées le 11 mai 2006, au nom de son mari, A._ a notamment affirmé que les époux entretenaient une relation stable lors de la signature de la déclaration sur la communauté conjugale, malgré les quelques crises que le couple avait déjà connues à cette période-là. Elle a ajouté que personne dans son entourage ne s'était rendu compte du mécontentement qu'elle avait éprouvé dans ladite relation. Par ailleurs, elle a indiqué qu'elle avait dû se rendre à l'évidence, avec l'aide de sa psychologue, que les époux ne partageaient pas la même vision pour pouvoir continuer de vivre ensemble. Interrogée par l'autorité cantonale compétente le 23 août 2006, A._ a exposé qu'elle avait fait connaissance de son futur mari en 1997 dans une discothèque, en déclarant que celui-ci était l'homme de sa vie et qu'elle l'avait épousé par amour et par peur de le perdre. Elle ne se souvenait plus si les conditions de séjour précaires de l'intéressé avaient joué un rôle dans la conclusion du mariage, mais c'était elle qui avait pris l'initiative de cette démarche. Elle a affirmé que le mariage s'était bien déroulé pendant les trois premières années et demie et que les difficultés conjugales étaient survenues dans le courant de l'année 2003, lorsque son mari avait accepté un travail aux horaires irréguliers. Elle a en outre déclaré qu'ils partageaient les mêmes loisirs, qu'ils avaient pris part ensemble à des rencontres familiales, qu'elle s'était rendue une fois dans le pays d'origine de son époux et qu'elle avait rencontré deux ou trois fois le frère de ce dernier en France. Elle a précisé n'avoir pas vécu d'autres séparations avant 2005 et reconnu qu'aucun évènement particulier susceptible de porter atteinte à l'union conjugale n'était intervenu peu après la naturalisation de son époux. Dans un courrier du 16 septembre 2006, X._ a confirmé pour l'essentiel les propos tenus par son épouse. Il a souligné, au surplus, qu'il l'avait toujours bien traitée et respectée, et que c'était elle qui l'avait quitté. Il a également laissé entendre qu'il aimait toujours sa femme et qu'il continuait d'entretenir de fréquents contacts avec elle. Le 20 mai 2008, l'Office de la migration du canton d'Argovie a porté à la connaissance de l'Office fédéral que l'intéressé avait déposé le 24 avril 2008 une demande de regroupement familiale en faveur de son épouse guinéenne et les deux enfants de cette dernière. Cette autorité a également remarqué que le divorce des époux X._-A._ avait été prononcé le 31 octobre 2007 et que l'intéressé avait contracté mariage avec sa nouvelle épouse le 4 janvier 2008. Par décision du 20 août 2008, l'Office fédéral a prononcé, avec l'assentiment des autorités cantonales compétentes, l'annulation de la naturalisation facilitée accordée à X._. C. Le 6 septembre 2010, le Tribunal administratif fédéral a rejeté le recours de X._ contre la décision précitée. Il a considéré en substance que l'examen des faits pertinents de la cause, ainsi que leur déroulement chronologique, amenaient à la conclusion que l'intéressé avait obtenu la naturalisation facilitée de manière frauduleuse. Celui-ci n'avait par ailleurs pas rendu vraisemblable la survenance d'un événement extraordinaire de nature à expliquer une détérioration rapide du lien conjugal. D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif fédéral du 6 septembre 2010 ainsi que la décision de l'Office fédéral du 20 août 2008. Il conclut également à ce que la décision d'annulation de la naturalisation facilitée soit invalidée et les frais administratifs annulés. Le Tribunal administratif fédéral conclut au rejet du recours. L'Office fédéral a renoncé à se déterminer. 