Faits: A. A._, ressortissant libanais né en 1972, est arrivé en Suisse le 17 septembre 1992 et y a déposé une demande d'asile qui a été définitivement rejetée le 2 mars 1993. Le 14 septembre 1993, il a épousé en Allemagne B._, ressortissante suisse née en 1972. Le 29 septembre 1993, il est revenu sur le territoire helvétique pour vivre auprès de son épouse. Il a alors été mis au bénéfice d'une autorisation de séjour régulièrement renouvelée jusqu'au 29 mars 1998. S'étant éprise du frère de son époux, avec lequel elle a eu deux enfants en 1996 et 1998, B._ a entamé une procédure de divorce dès le mois de février 1995. Le requérant s'est toujours opposé à ce divorce. Dès 1996, il a entretenu une liaison avec C._, ressortissante suisse née en 1973. Le 6 novembre 1997, A._ a été condamné à trente jours d'emprisonnement avec sursis pendant deux ans pour escroquerie. Le 17 février 1999, le juge suppléant des districts de Martigny et Saint-Maurice a rejeté la demande de divorce de B._. Ce jugement a été confirmé sur recours par le Tribunal cantonal valaisan le 9 décembre 1999. Le 24 novembre 1999, l'Office fédéral des étrangers a rendu une décision de refus d'approbation et de renvoi de Suisse à l'endroit du prénommé, retenant notamment que ce dernier invoquait abusivement une union qui n'existait plus que formellement pour obtenir le renouvellement de son autorisation de séjour. Cette décision a été confirmée sur recours par le Département fédéral de justice et police puis par le Tribunal fédéral le 30 janvier 2001. Un délai au 30 avril 2001 lui a été imparti pour quitter la Suisse. Le divorce des époux A._ et B._ a été prononcé par jugement devenu exécutoire le 21 mars 2001. B. L'intéressé a épousé en secondes noces, le 23 avril 2001, C._, de sorte qu'il s'est vu délivrer une autorisation de séjour dans le but de vivre auprès de sa nouvelle épouse. Le 2 avril 2003, le Service de la population du canton de Vaud a refusé de transformer l'autorisation de séjour de A._ en autorisation d'établissement. Cette décision a été confirmée par le Tribunal administratif du canton de Vaud le 12 mai 2004. Le 5 juin 2003, le prénommé a déposé une demande de naturalisation facilitée fondée sur son mariage avec C._. Par décision du 2 septembre 2004, l'Office fédéral de l'immigration, de l'intégration et de l'émigration (actuellement l'Office fédéral des migrations; ci-après: l'Office fédéral) a rejeté la demande de libération anticipée du contrôle fédéral du prénommé et fixé la date de libération au 23 avril 2006. Le requérant et son épouse ont contresigné, le 15 octobre 2004, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Par décision du 11 novembre 2004, l'Office fédéral a accordé la naturalisation facilitée au prénommé. C. En l'absence de toute requête de mesures protectrices de l'union conjugale, les époux A._ et C._ ont déposé, le 8 septembre 2005, une requête commune en divorce avec accord complet et requis la ratification de la convention sur les effets accessoires du divorce signée le 2 septembre 2005. Le divorce a été prononcé le 10 mars 2006 et le jugement est devenu définitif et exécutoire le 28 mars 2006. Par courrier du 23 juin 2006, le Service de l'état civil et des naturalisations du canton de Berne a informé l'Office fédéral de ce divorce. Le 31 août 2006, A._ a conclu un troisième mariage avec une ressortissante libanaise, née en 1982. De cette union est issu un fils, né le 8 juin 2007. L'Office fédéral a informé le prénommé, le 16 septembre 2008, qu'il se voyait contraint d'examiner s'il y avait lieu d'annuler la naturalisation facilitée, compte tenu de la séparation des époux intervenue le 28 octobre 2005, de leur divorce prononcé le 10 mars 2006 et du fait qu'il s'était remarié, cinq mois plus tard, avec une ressortissante libanaise. Le requérant a exposé que C._ avait choisi de quitter le domicile conjugal après avoir connu un autre homme, avec lequel elle faisait toujours ménage commun, et qu'il ressortait du dossier qu'avant leur séparation ils avaient mené une vie de couple tout à fait normale. Il a fourni, le 2 février 2009, l'original d'une correspondance non datée de la prénommée, dans le but de démontrer que le divorce ne lui était pas imputable. Il a ensuite précisé que ladite correspondance avait été déposée par son ex-épouse sur la table de leur domicile, un mois et demi ou deux mois avant que celle-ci ne demande le divorce. Le 5 novembre 2009, l'Office fédéral a prononcé l'annulation de la naturalisation facilitée de l'intéressé. Par arrêt du 23 septembre 2010, le Tribunal administratif fédéral a rejeté le recours de A._. Il a considéré en substance que l'examen des faits pertinents de la cause, ainsi que leur déroulement chronologique, amenaient à la conclusion que l'intéressé avait obtenu la naturalisation facilitée de manière frauduleuse. Celui-ci n'avait par ailleurs pas rendu vraisemblable la survenance d'un événement extraordinaire de nature à expliquer une détérioration rapide du lien conjugal. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt précité. Il se plaint pour l'essentiel d'une violation de son droit d'être entendu et d'une mauvaise application du droit fédéral. Le Tribunal administratif fédéral renonce à prendre position. L'Office fédéral se réfère entièrement aux motifs de sa décision du 5 novembre 2009. Le recourant a répliqué le 9 décembre 2010; il confirme la motivation et les conclusions de son recours. Par ordonnance du 3 novembre 2010, le Président de la Ire Cour de droit public a rejeté la requête de mesures provisionnelles déposée par le recourant. 