Faits : A. A._, originaire du Kosovo, né en 1978, est entré en Suisse le 5 août 1998 et y a déposé une demande d'asile qui a été rejetée le 8 septembre 1999. Ce rejet était assorti d'une décision de renvoi. Le 7 juillet 2000, le prénommé s'est marié avec B._ ressortissante suisse née en 1971. Il s'est ainsi vu délivrer une autorisation de séjour. Le 29 août 2003, A._ a déposé une demande de naturalisation facilitée. Dans le cadre de l'instruction de cette demande, les époux ont contresigné, le 15 septembre 2006, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Leur attention a été attirée sur le fait que la naturalisation facilitée ne pouvait pas être octroyée lorsque, avant ou pendant la procédure de naturalisation, l'un des époux demandait le divorce ou la séparation, ou lorsque la communauté conjugale effective n'existait plus. Par décision du 20 octobre 2006, l'Office fédéral des migrations (ci-après: l'ODM) a accordé la naturalisation facilitée à l'intéressé. Par courrier du 24 juin 2010, le Service de l'état civil et des naturalisations du canton de Fribourg a informé l'ODM que bien que les époux soient toujours mariés, A._ avait eu un premier enfant au Kosovo avec une compatriote le 16 septembre 2005, soit une année avant sa naturalisation, puis un deuxième enfant avec la même personne le 10 avril 2008 et qu'il avait entrepris les démarches pour enregistrer ses deux enfants en Suisse. Par lettre du 17 septembre 2010, l'ODM a informé l'intéressé qu'il se voyait dans l'obligation d'examiner s'il y avait lieu d'annuler la naturalisation facilitée, compte tenu des faits relatés par les autorités fribourgeoises, et l'a invité à se déterminer à ce sujet. Dans son courrier daté du 18 octobre 2010, cosigné par son épouse, A._ a expliqué que son épouse avait eu un grave accident fin 2003, qu'elle avait été hospitalisée durant un mois et demi et qu'étant déprimé et inquiet, il l'avait trompée; cette "histoire d'une seule nuit" avait suffi pour que la mère de son fils tombe enceinte. S'agissant de son deuxième fils, né en avril 2008, il a indiqué que celui-ci avait été conçu après que sa femme a pris la décision de le quitter. Auditionnée le 25 février 2011, B._ a notamment déclaré que les réelles difficultés conjugales avaient commencé fin 2006 lorsqu'elle s'était installée à Neuchâtel où elle avait ouvert un fitness. Les problèmes conjugaux résidaient dans l'adultère commis par chacun des deux époux ainsi que dans le fait que ce dernier se trouvait trop souvent à Genève; son époux ne pouvait guère lui rendre visite dès lors qu'il vivait et travaillait à Genève durant la semaine. Elle a indiqué que la séparation du couple avait eu lieu, sauf erreur de sa part, vers fin 2007, précisant qu'ils n'avaient pas tout de suite divorcé dans l'espoir de se remettre ensemble. Elle s'est également exprimée au sujet de l'existence des deux enfants de son époux. B. Par décision du 21 septembre 2011, l'ODM a prononcé, avec l'assentiment de l'autorité cantonale compétente, l'annulation de la naturalisation facilitée accordée à A._, faisant ainsi perdre la nationalité suisse aux membres de sa famille qui l'auraient acquise en vertu de la décision annulée. Le Tribunal administratif fédéral a confirmé cette décision dans un arrêt rendu le 2 avril 2014. En substance, il a considéré que l'enchaînement rapide des événements fondait la présomption que la communauté conjugale des intéressés n'était plus stable au moment de la signature de la déclaration commune et du prononcé de la décision de naturalisation, les éléments avancés par A._ n'étant pas suffisants pour renverser cette présomption. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral principalement d'annuler l'arrêt du Tribunal administratif fédéral ainsi que la décision de l'ODM, et subsidiairement de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Invités à se déterminer, le Tribunal administratif fédéral a renoncé à prendre position, alors que l'ODM a conclu au rejet du recours. Par ordonnance du 24 juin 2014, le Président de la Ire Cour de droit public a accordé l'effet suspensif au recours. 