Faits: A. Alors qu'il étudiait en Inde en 1997, X._, ressortissant jordanien né en 1971, a rencontré A._, citoyenne suisse, née en 1977. Le 11 septembre 1997, les prénommés se sont mariés à Jaipur, en Inde. Au lendemain de ce mariage, A._ est rentrée en Suisse, afin d'y entamer une formation, alors que son époux a poursuivi ses études en Inde dans le but d'y obtenir un diplôme. Le 5 août 1998, X._ a rejoint son épouse en Suisse. Le couple a vécu trois ans au domicile des parents de A._, avant de s'installer dans un appartement en novembre 2001. Le 25 août 2003, X._ a déposé une demande de naturalisation facilitée fondée sur son mariage. Dans le cadre de l'instruction de cette demande, les époux ont contresigné, le 3 juin 2004, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Leur attention a été attirée sur le fait que la naturalisation facilitée ne pouvait pas être octroyée lorsque, avant ou pendant la procédure de naturalisation, l'un des époux demandait le divorce ou la séparation, ou lorsque la communauté conjugale effective n'existait plus. La déclaration signée précisait en outre que si cet état de fait était dissimulé, la naturalisation facilitée pouvait être annulée dans les cinq ans. Par décision du 24 juin 2004, l'office fédéral compétent a accordé la naturalisation facilitée à X._. B. Le 21 février 2006, les époux ont déposé une requête commune de divorce. Par jugement exécutoire dès le 20 septembre 2006, le Tribunal d'arrondissement de Lausanne a prononcé la dissolution du mariage. Le 22 octobre 2006, le prénommé s'est remarié à Zarqa en Jordanie avec une ressortissante jordanienne, née en 1982. Le 7 juin 2007, l'Office fédéral des migrations (ci-après: l'ODM) a informé X._ qu'il allait examiner la possibilité d'ouvrir une procédure en annulation de sa naturalisation facilitée et l'a invité à se déterminer. Par courrier du 12 septembre 2007, l'intéressé a répondu, par l'entremise de son avocat, que le mariage conclu en 1997 était sincère et qu'il avait duré neuf ans. Il a indiqué que la séparation des époux était intervenue à la fin de l'année 2005. Entendue par l'autorité cantonale compétente sur réquisition de l'ODM, A._ a exposé que l'initiative du mariage revenait en premier lieu à son mari et qu'il s'agissait d'un mariage d'amour. Elle a déclaré avoir partagé ses loisirs avec son mari jusqu'au début 2006 et l'avoir accompagné en Jordanie à quatre ou cinq reprises. Elle a affirmé que les difficultés conjugales avaient commencé entre fin décembre 2005 et début janvier 2006 et qu'elles avaient pour origine, dans le contexte des différences culturelles et religieuses prévalant entre les époux, l'éducation des enfants qu'ils entendaient avoir. Enfin, elle a assuré que lors de la signature de la déclaration commune, ils avaient bien l'intention de fonder une famille. Par courrier du 31 janvier 2008, X._ s'est déterminé sur les déclarations de son ex-épouse. Il a fourni les 28 avril 2008 et 8 juillet 2008 des informations et des preuves complémentaires. Il a en outre sollicité l'audition de différents témoins. C. Par décision du 16 décembre 2008, l'ODM a prononcé, avec l'assentiment de l'autorité cantonale compétente, l'annulation de la naturalisation facilitée accordée à X._. En substance, il a retenu que l'octroi de la naturalisation facilitée s'était fait sur la base de déclarations mensongères, voire de dissimulation de faits essentiels. Le Tribunal administratif fédéral a confirmé la décision de l'ODM dans un arrêt rendu le 16 février 2011. Il a considéré en particulier que l'enchaînement rapide des événements fondait la présomption que la communauté conjugale des intéressés n'était plus étroite et effective au moment de la signature de la déclaration commune, les éléments avancés par X._ n'étant pas suffisants pour renverser cette présomption. D. Agissant par la voie du recours en matière de droit public, X._ demande principalement au Tribunal fédéral de réformer l'arrêt du Tribunal administratif fédéral en ce sens que la naturalisation facilitée n'est pas annulée. Il conclut subsidiairement à l'annulation de l'arrêt attaqué et à son renvoi à l'instance précédente pour nouvelle instruction. L'ODM s'est déterminé par courrier du 12 avril 2011. Le Tribunal administratif fédéral a renoncé à se déterminer. Le recourant a présenté des observations, par lettre du 16 juin 2011. 