Faits: A. A._, ressortissant d'origine kosovare né en 1978, est entré en Suisse le 17 octobre 1995. Sa demande d'asile déposée le même jour a été rejetée. Il a ensuite été mis au bénéfice d'une admission provisoire qui a été levée le 16 août 1999. Il a dû quitter la Suisse le 3 juillet 2000. Revenu illégalement en Suisse, A._ s'est marié le 5 avril 2002 avec B._, ressortissante suisse née en 1956. Il a alors été mis au bénéfice d'une autorisation de séjour au titre de regroupement familial. Le 22 avril 2005, A._ a demandé la naturalisation facilitée qu'il a obtenue le 20 août 2007, après avoir co-signé avec son épouse le 18 juillet 2007 une déclaration confirmant la stabilité et l'effectivité de leur communauté conjugale. Le 12 février 2009, les époux ont adressé au Tribunal civil de l'arrondissement de la Broye une requête commune en divorce avec accord complet sur les effets accessoires. Ils se sont séparés fin février 2009 et leur divorce, prononcé le 25 mai 2009, est entré en force le 8 septembre 2009. Les 10 mai 2010 et 2011, A._ a eu deux enfants avec une compatriote, née en 1984, qu'il a épousée le 17 juin 2011. B. Le 5 octobre 2011, l'Office fédéral des migrations (ODM) a informé A._ qu'il devait examiner s'il y avait lieu d'annuler la naturalisation facilitée. Dans ses déterminations, l'intéressé a déclaré que la volonté matrimoniale était intacte au moment de la naturalisation et que son épouse avait manifesté son intention de divorcer au début de l'année 2009, démarche à laquelle il ne serait pas opposé; il aurait rencontré sa nouvelle épouse lors d'un voyage au Kosovo fin 2009. Entendue le 16 décembre 2011, B._ a déclaré que les difficultés conjugales étaient apparues insidieusement dans le courant de l'année 2008, qu'elle avait commencé à parler de divorce en automne de la même année et que son époux n'avait pas compris pourquoi elle voulait divorcer. Elle a précisé que celui-ci travaillait beaucoup pour ses parents restés au Kosovo et qu'il n'avait plus eu de temps pour des activités communes; elle ne se serait plus sentie à l'aise dans cette relation en raison notamment des différences culturelles et linguistiques. A._ s'est déterminé sur les déclarations de son ex-épouse. C. Par décision du 30 mars 2012, l'ODM a prononcé, avec l'assentiment de l'autorité cantonale compétente, l'annulation de la naturalisation facilitée accordée à A._. Par arrêt du 16 octobre 2013, le Tribunal administratif fédéral a rejeté le recours formé par l'intéressé contre cette décision. Il a considéré que les faits de la cause étaient de nature à fonder la présomption que A._ avait obtenu la naturalisation facilitée de manière frauduleuse et a retenu que celui-ci n'était pas parvenu à renverser cette présomption. D. Par mémoire du 22 novembre 2013, A._ forme un recours en matière de droit public par lequel il conclut, à titre principal, à la réforme de l'arrêt du Tribunal administratif fédéral en ce sens que la décision d'annulation de la naturalisation rendue par l'ODM est annulée. A titre subsidiaire, il requiert l'annulation dudit arrêt et le renvoi de la cause à l'instance précédente pour qu'elle annule la décision de l'ODM. Invités à se déterminer, l'ODM a confirmé sa position, tandis que l'autorité précédente a renoncé à formuler des observations. Le recourant n'a pas déposé de détermination complémentaire. Par ordonnance du 10 décembre 2013, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif. 