Faits: A. Le 8 novembre 2002, à A._, X._, né en 1973 au Kosovo, a épousé Y._, ressortissante suisse née en 1957. Aucun enfant n'est issu de cette union. Par requête du 28 mai 2006, X._ a demandé la naturalisation facilitée qu'il a obtenue le 28 décembre 2006, après avoir co-signé avec son épouse le 4 décembre 2006 une déclaration confirmant la stabilité et l'effectivité de leur communauté conjugale. La décision d'octroi de la nationalité est entrée en force le 29 janvier 2007. Le 7 octobre 2008, les époux ont déposé une requête commune de divorce, assortie d'une convention sur les effets accessoires conclue le 4 octobre 2008. Le divorce a été prononcé le 30 janvier 2009 et est entré en force le 25 février suivant. Le 13 août 2009, Z._, ressortissante kosovare née en 1977, a déposé une demande de visa pour venir vivre auprès de X._ dans le cadre du regroupement familial. Ils se sont mariés le 16 avril 2010. B. Par courrier du 16 décembre 2009, l'Office fédéral des migrations (ODM) a informé X._ qu'il devait examiner s'il y avait lieu d'annuler la naturalisation facilitée, compte tenu de la conclusion de son mariage alors qu'il était sous le coup d'une décision négative en matière d'asile assortie d'un renvoi de Suisse, de la différence d'âge entre les époux, de la signature de la déclaration commune le 4 décembre 2006, de la décision d'octroi de la naturalisation le 28 décembre 2006 et du divorce intervenu le 25 février 2009 déjà. X._ s'est déterminé à plusieurs reprises par écrit (cf. les courriers du 15 janvier, du 26 février, du 27 mai, du 13 août, du 2 et du 10 septembre, du 2 et du 16 novembre, du 3 décembre 2010, du 21 janvier et du 15 février 2011) et a été entendu le 15 février 2010 par le Service des migrations neuchâtelois sur ses projets de mariage avec Z._. Il ressort en particulier de ses déclarations qu'il savait depuis longtemps que son ex-épouse ne pouvait plus avoir d'enfant; elle n'en désirait d'ailleurs pas, étant déjà mère de deux enfants majeurs. Il a également affirmé que son propre désir d'enfant n'était apparu qu'en 2007, notamment à la suite de la naissance de la fille d'un de ses cousins et de la présence d'un chiot dans son foyer. Il a affirmé que c'était sûrement à cause de l'impossibilité de le satisfaire sur cette question que son ex-épouse avait une image négative de leur relation de couple. Selon X._, il n'y avait aucun élément concret qui pouvait laisser sous-entendre des risques de violence de sa part ou de celle de sa famille. L'intéressé a encore relevé qu'il avait rencontré sa future seconde épouse en mars 2009 et qu'ils s'étaient fiancés au mois de juillet suivant. Par le biais de son mandataire, il a demandé plusieurs fois à consulter le dossier de la procédure, ainsi que l'audition en qualité de témoins de son ex-femme et de deux voisins. Sollicités par l'ODM, ces derniers se sont déterminés par écrit le 20, respectivement le 23 novembre 2010. Le premier a indiqué avoir eu l'impression que le couple formé par X._ et Y._ était harmonieux. Quant à la seconde, elle n'a pas désiré se prononcer sur le mariage de l'intéressé. Elle a en particulier relevé qu'elle ne savait qui croire entre X._ - qui lui demandait "une belle lettre en sa faveur" en oubliant sa violence - ou son ex-femme, avec qui elle s'est rendue à la police pour de tels actes, mais qui n'avait pas porté plainte. Elle a ajouté qu'elle avait "bien entendu" des disputes - en anglais, langue qu'elle ne comprenait pas bien -, mais "pas plus que chez d'autres voisins". Y._, dont une détermination écrite a également été requise, a refusé de s'exprimer par écrit sur son mariage, considérant celui-ci, ainsi que son divorce comme des épisodes douloureux (cf. le courrier du 8 novembre 2010). Elle a dit craindre en outre d' "éventuelles représailles" de la part de son ex-mari, ainsi que de la famille de celui-ci en Suisse et au Kosovo. Sur requête directe de l'avocat de l'intéressé, elle lui a adressé un courrier similaire le 13 février 2011. Au cours de l'instruction, X._ a pu avoir accès au dossier, sous réserve de pièces confidentielles. Selon la note du 29 avril 2010, il ressortait de ces pièces que "l'intéressé avait [eu] un comportement violent et menaçant dans le cadre de son union conjugale" et qu'il "n'avait pas [eu] l'intention de fonder un foyer lors de son premier mariage". Après avoir obtenu l'assentiment des autorités cantonales, l'ODM a, par décision du 3 juin 2011, annulé la naturalisation facilitée. Il a rejeté la requête d'audition de l'ex-épouse, considérant que la présomption de fait se dégageant du faisceau d'indices déjà recueillis ne serait pas remise en cause par le témoignage de celle-ci. L'enchaînement des faits, l'impossibilité connue d'avoir des enfants avec son ex-conjointe, les disputes et violences conjugales évoquées par leur voisine - éléments qui semblaient au surplus ressortir aussi des pièces confidentielles -, la crainte de son ex-femme de représailles et le désengagement économique au soutien de son foyer de X._ permettaient de retenir que son mariage n'était pas constitutif d'une communauté conjugale effective et stable au moment de la déclaration commune ou lors du prononcé de la naturalisation facilitée. Celle-ci avait donc été octroyée sur la base de déclarations mensongères, voire d'une dissimulation de faits essentiels. C. Par arrêt du 6 juin 2013, le Tribunal administratif fédéral a rejeté le recours formé par l'intéressé contre cette décision. D. Le 19 août 2013, X._ forme un recours en matière de droit public, concluant à l'annulation de l'arrêt du 6 juin 2013 et à la constatation que sa naturalisation n'est pas annulée. Invités à se déterminer, l'ODM a en substance conclu au rejet du recours, tandis que l'autorité précédente a renoncé à prendre position. Le recourant n'a pas déposé d'observations complémentaires. 