Faits: A. Le 10 août 2001 à A._ (Kosovo), X._, ressortissant kosovar né en 1979, a épousé Y._, ressortissante suisse née en 1982. Il l'a rejointe en Suisse le 27 octobre 2001. Par requête du 10 septembre 2005, X._ a demandé la naturalisation facilitée qu'il a obtenue le 3 septembre 2007, après avoir co-signé avec son épouse le 26 mars 2007 une déclaration confirmant la stabilité et l'effectivité de la communauté conjugale. Le 7 février 2008, les époux ont déposé une requête commune en divorce, assortie d'une convention sur les effets accessoires signée le 4 février 2008. Le divorce a été prononcé le 4 septembre 2008. Les deux ex-époux se sont remariés, le 2 juin 2009 pour Y._ et le 10 août 2009 pour X._; ce dernier a épousé au Kosovo une ressortissante de ce pays, née en 1979. B. Par courrier du 29 janvier 2010, l'Office fédéral des migrations (ODM) a informé X._ qu'il devait examiner s'il y avait lieu d'annuler la naturalisation facilitée, compte tenu de la requête de divorce déposée le 7 février 2008, du jugement de divorce intervenu le 4 septembre 2008 et du seconde mariage de l'intéressé le 10 août 2009. Le 15 février 2010, X._ a expliqué qu'il avait vécu très heureux avec Y._, mais que celle-ci ne lui avait pas donné d'enfant, ce qui était très important pour lui. N'ayant pas réussi à surmonter ce problème, ils avaient divorcé. Il a relevé n'avoir connu sa seconde épouse qu'après son divorce et que sa situation en Suisse était exemplaire (stabilité professionnelle, absence de poursuites tant civiles que pénales). En date du 12 mars 2010, X._ a produit une lettre de son ex-épouse du 1 er mars 2010 expliquant que lors de son mariage, son ex-mari lui avait souvent demandé de fonder une famille, mais qu'elle avait toujours refusé. Y._ a été entendue le 27 avril 2010, exposant en particulier que les époux avaient été en désaccord sur la question d'une éventuelle descendance commune dès le début de leur mariage. Le couple avait commencé à avoir des difficultés fin 2006 ou début 2007 car Y._ ne désirait toujours pas avoir d'enfant. Elle a également déclaré qu'elle avait contracté un emprunt sans en parler à son ex-époux, ce qu'il n'avait pas apprécié. Ayant reçu une copie du procès-verbal d'audition, X._ n'a pas formulé d'autre observation, ni produit de pièce complémentaire. Après avoir obtenu l'assentiment des autorités cantonales, l'ODM a, par décision du 13 juillet 2010, annulé la naturalisation facilitée. L'enchaînement des faits - rejet de la demande d'asile assortie d'un renvoi (12 mars 1999), levée définitive de l'admission provisoire (16 août 1999), rencontre de sa future épouse alors qu'il était dépourvu d'autorisation de séjour (fin 2000), mariage au Kosovo avec celle-ci, alors âgée de 19 ans (10 août 2001), requête de naturalisation facilitée (10 septembre 2005), déclaration commune (26 mars 2007), octroi de la nationalité (3 septembre 2007), dépôt de la requête commune de divorce (7 février 2008), jugement de divorce (4 septembre 2008), mise en place rapide de nouveaux projets matrimoniaux de la part des deux époux (mariages les 2 juin et 10 août 2009) -, le profond désaccord des époux au sujet d'une possible descendance, ainsi que le caractère dépensier attribué à l'ex-épouse permettaient de retenir que le mariage de X._ n'était pas constitutif d'une communauté conjugale effective et stable au moment de la déclaration commune ou lors du prononcé de naturalisation facilitée. Celle-ci avait donc été octroyée sur la base de déclarations mensongères, voire d'une dissimulation de faits essentiels. C. Par arrêt du 2 mai 2013, le Tribunal administratif fédéral a rejeté le recours formé par X._. Se prononçant tout d'abord sur l'absence de motivation reprochée à l'ODM, cette autorité a relevé que l'intéressé avait pu déposer un mémoire de recours circonstancié et que si l'office ne s'était pas expliqué sur certaines pièces du dossier relatives à la demande de naturalisation, il avait complété son argumentation durant la procédure de recours, motivation sur laquelle l'intéressé avait pu ensuite se déterminer. Les premiers juges ont ensuite retenu que l'enchaînement chronologique particulièrement rapide des faits était de nature à fonder la présomption de fait que la stabilité requise du mariage n'existait déjà plus lors de la déclaration commune, à tout le moins lors de l'octroi de la nationalité. Ils ont ensuite constaté qu'aucun événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal n'avait été rendu vraisemblable. Enfin, le Tribunal administratif fédéral a rappelé qu'il était sans pertinence pour déterminer s'il y avait eu une obtention frauduleuse de la nationalité que l'intéressé soit bien intégré en Suisse. D. Par mémoire du 10 juin 2013, X._ forme un recours en matière de droit public, concluant, à titre principal, à l'annulation de cet arrêt, ainsi que de la décision de l'ODM et, à titre subsidiaire, au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Invités à se déterminer, le Tribunal administratif fédéral a renoncé à former des observations, tandis que l'ODM a conclu au rejet. Par ordonnance du 28 juin 2013, le Juge présidant de la Ire Cour de droit public du Tribunal fédéral a accordé l'effet suspensif. 