Faits: A. X._, ressortissant d'origine kosovare né en 1972, a déposé une demande d'asile en Suisse le 3 avril 1995. Celle-ci a été rejetée par décision 10 août 1995. Il a néanmoins été mis au bénéfice d'une admission provisoire en Suisse qui a été levée le 31 juillet 1998. Le 24 juillet 1998, X._ a épousé A._, ressortissante suisse née en 1956 et mère d'un enfant issu d'un précédent mariage. Le 8 juillet 2002, X._ a introduit une demande de naturalisation facilitée. Le 25 février 2005, les époux ont contresigné une déclaration aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Par décision du 25 juillet 2005, l'Office fédéral des étrangers (actuellement l'Office fédéral des migrations [ODM]) a accordé la naturalisation facilitée à l'intéressé. Les époux se sont séparés en mai 2006. Ils ont signé une convention de divorce le 29 mai 2007 et ont introduit une requête commune de divorce le 22 novembre 2007. La dissolution du mariage a été prononcée par jugement du 10 avril 2008. Le 28 juillet 2008, l'intéressé s'est remarié avec une ressortissante kosovare née en 1975, avec laquelle il a eu deux enfants respectivement le *** 2009 et le *** 2010. B. Le 5 mars 2009, l'ODM a informé X._ qu'il envisageait d'ouvrir une procédure visant à l'annulation de sa naturalisation facilitée et l'a invité à se déterminer. L'intéressé a expliqué n'avoir jamais fait de déclaration mensongère ni dissimulé des faits essentiels. Dans ses déterminations, A._ a expliqué avoir le 15 mai 2006 enjoint à son ex-époux - à son retour du Kosovo où il était parti trois semaines sans l'informer - de quitter le domicile conjugal lorsqu'elle a découvert qu'il la trompait. Elle a ajouté que leur union s'était bien déroulée jusqu'à la naturalisation de son ex-conjoint. Par décision du 19 juillet 2010, l'ODM a prononcé, avec l'assentiment des autorités cantonales compétentes, l'annulation de la naturalisation facilitée accordée à X._. C. Par arrêt du 25 février 2011, le Tribunal administratif fédéral (TAF) a rejeté le recours formulé par l'intéressé contre cette décision. Il a considéré que l'examen des faits pertinents de la cause, ainsi que leur déroulement chronologique fondaient la présomption qu'au moment de la signature de la déclaration commune et a fortiori lors de la décision de naturalisation, les époux n'avaient plus la volonté de maintenir une communauté conjugale stable. Les éléments invoqués par l'intéressé n'étaient pas suffisants pour renverser cette présomption. D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt du TAF et de confirmer la décision lui accordant la naturalisation facilitée. Il se plaint en substance de constatation inexacte des faits, de l'inopportunité de la décision prise par l'autorité de première instance ainsi que d'une violation de l'art. 41 de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (LN; RS 141.0). Il sollicite en outre l'octroi de l'effet suspensif. Le TAF renonce à se déterminer. L'ODM se réfère à l'arrêt attaqué. Le recourant a déposé des observations. Par ordonnance du 9 mai 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif. 