Faits : A. A._, ressortissant nigérian, né en mai 1980, est arrivé en Suisse le 27 septembre 2000 pour y déposer une demande d'asile, rejetée le 24 janvier 2002. Son recours contre cette décision a été déclaré sans objet le 1 er mars 2002. Le 6 juin 2003, l'intéressé s'est marié avec B._, ressortissante suisse, née en janvier 1978. Par requête du 27 avril 2006, A._ a déposé une demande de naturalisation facilitée qu'il a obtenue le 20 août 2007, après avoir co-signé avec son épouse, le 13 juillet 2007, une déclaration confirmant la stabilité et l'effectivité de la communauté conjugale. Les époux se sont séparés au début du mois d'avril 2008, des mesures protectrices de l'union conjugale ont été prononcées le 18 décembre 2008. Les époux ont déposé une requête commune de divorce le 16 février 2009; par jugement du 25 juin 2009, entré en force le 11 septembre 2009, le divorce a été prononcé. Le 10 septembre 2010, A._ s'est marié avec C._, une compatriote, née en août 1982; le couple a eu deux enfants, la première née le 18 juin 2011. B. A la suite d'un courrier du Service de l'état civil et des naturalisations du canton de Fribourg (SECiN), l'Office fédéral des migrations (ODM) a informé A._ qu'il devait examiner s'il y avait lieu d'annuler la naturalisation facilitée; l'intéressé a eu la possibilité de se déterminer mais n'a fait valoir aucune observation; il a renvoyé la déclaration autorisant l'ODM à consulter le dossier de son divorce. B._, entendue le 8 juillet 2011, a déclaré avoir rencontré par hasard l'intéressé mi-juillet 2002 à Fribourg. Elle indique l'avoir demandé en mariage car il avait reçu son avis d'expulsion et ils voulaient poursuivre leur relation. Elle expose également que peu après leur mariage des tensions sont apparues, l'intéressé étant au chômage et approchant de la fin de droit alors qu'elle-même était également au chômage. Elle souligne que, dès la fin 2006 et le début 2007, le couple a rencontré d'importantes difficultés; elle a d'ailleurs, à ce moment-là, eu une relation adultérine. Elle a avoué immédiatement cette liaison à son époux, ce qui n'a fait qu'envenimer une situation déjà fortement dégradée. Finalement, ils se sont séparés en 2008 car leur relation était devenue invivable notamment en raison de son infidélité et des reproches qu'elle encourait de ce fait. Selon B._, lors de la signature de la déclaration commune, ils vivaient ensemble et essayaient de sauver leur couple. Elle aurait signé cette déclaration en espérant que leurs problèmes se résoudraient et que la vie commune pourrait se poursuivre. A._ s'est déterminé sur les observations de son ex-épouse et a souligné que lors de l'octroi de la naturalisation facilitée ils vivaient en harmonie avec elle. Il a également mentionné qu'après la naturalisation, son ex-épouse se sentant coupable en raison de son adultère aurait souhaité la séparation puis le divorce. Par décision du 4 juin 2012, l'ODM a prononcé, avec l'assentiment des autorités cantonales compétentes du canton de Fribourg, l'annulation de la naturalisation facilitée accordée à A._. Selon cet office, la nationalité avait été obtenue sur la base de déclarations mensongères. En effet, l'intéressé ne vivait pas en communauté stable lors de la déclaration commune et du prononcé de la naturalisation. L'adultère de l'ex-épouse, à l'origine de la désunion, avait été commis et porté à la connaissance de l'intéressé avant la signature de la déclaration commune et ne constituait donc pas un événement extraordinaire et postérieur à la naturalisation propre à renverser la présomption. C. Par arrêt du 24 octobre 2013, le Tribunal administratif fédéral a rejeté le recours intenté par A._ contre cette décision. L'instance précédente a considéré que l'enchaînement chronologique des faits et le court laps de temps les séparant étaient de nature à fonder la présomption de faits selon laquelle, au moment de la signature de la déclaration commune et lors de la décision de naturalisation, A._ n'avait plus la volonté de maintenir une communauté stable. En outre, les premiers juges ont relevé que, lors de la célébration de son mariage avec B._, A._ était sous le coup d'une décision de renvoi dans le cadre d'une procédure d'asile négative. Ils soulignent également que selon B._ leur couple avait connu des difficultés peu de temps déjà après la célébration du mariage, difficultés qui s'étaient aggravées six à sept mois avant la signature de la déclaration commune. Ce fait est d'ailleurs reconnu par le recourant qui a admis, dans sa réplique du 23 avril 2013, qu'il avait des disputes avec son ex-épouse. Enfin les juges du Tribunal administratif fédéral ont souligné qu'il ressortait clairement de la procédure d'instruction que A._ avait connaissance de l'adultère de son épouse avant la décision de naturalisation. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler cet arrêt. Il soutient qu'il n'avait pas connaissance de l'adultère de son épouse au moment de l'octroi de la naturalisation facilitée et que la cause de la désunion doit uniquement être recherchée dans cet adultère. Il souligne en effet que la procédure de divorce a été souhaitée et entamée par son ex-épouse. Il requiert en outre l'assistance judiciaire gratuite. Invité à se déterminer, l'ODM a confirmé sa position tandis que l'autorité précédente a renoncé à formuler ses observations. Par ordonnance du 10 janvier 2014, le Président de la Ire Cour de droit public du Tribunal fédéral a accordé l'effet suspensif. 