Faits: A. Ressortissant togolais né en 1976, X._ est entré en Suisse en septembre 2002 pour y déposer une demande d'asile. Cette demande a été rejetée par l'Office fédéral des réfugiés, devenu entre-temps l'Office fédéral des migrations (ci-après: l'Office fédéral), en avril 2003; le rejet a été assorti d'un prononcé de renvoi de Suisse. Saisie d'un recours contre cette décision, la Commission suisse de recours en matière d'asile (ci-après: la Commission de recours) l'a confirmée le 26 juin 2003. Le 28 avril 2004, elle a déclaré irrecevable la demande de révision présentée par l'intéressé le 23 avril 2004 et l'a transmise à l'Office fédéral comme demande de réexamen de la décision de renvoi du 28 avril 2003. Par décision du 29 avril 2004, l'Office fédéral a rejeté la demande de réexamen. Le recours interjeté contre cette décision a été rayé du rôle le 23 septembre 2005. B. Le 28 juillet 2005, X._ a épousé une ressortissante suisse et a été mis au bénéfice d'une autorisation de séjour pour regroupement familial. Par courrier du 28 octobre 2008, l'épouse a informé le Service de la population du canton de Vaud (ci-après: le SPOP) du fait que les liens conjugaux avec son mari étaient quasiment rompus. Elle a requis le 5 décembre 2008 des mesures protectrices de l'union conjugale et l'époux a pris un domicile séparé au début de l'année 2009. Après avoir recueilli les renseignements d'usage au sujet de la situation personnelle, familiale et professionnelle de X._, le SPOP a, par décision du 2 juin 2009, révoqué l'autorisation de séjour de l'intéressé en application de l'art. 62 let. d de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), mais s'est déclaré favorable à la poursuite de son séjour en Suisse conformément à l'art. 50 LEtr, sous réserve de l'approbation de l'Office fédéral. C. Après lui avoir donné l'occasion de s'exprimer, l'Office fédéral a, par décision du 11 décembre 2009, refusé d'approuver la prolongation de l'autorisation de séjour de X._ et a prononcé son renvoi de Suisse. Il a retenu, en bref, que l'intéressé ne pouvait pas se prévaloir d'une intégration réussie en Suisse, qu'il avait alterné les périodes de travail et de chômage, qu'il n'avait pas acquis de qualifications professionnelles particulières, qu'il ne disposait d'aucun réseau social en Suisse et qu'il avait maintenu des liens réguliers avec son pays d'origine. Le Tribunal administratif fédéral a rejeté le recours formé contre la décision précitée de l'Office fédéral par arrêt du 29 mars 2011. Il a considéré que si son union conjugale avait certes duré plus de trois ans au sens de l'art. 50 al. 1 let. a LEtr, X._ ne pouvait pas se prévaloir d'une intégration réussie; en outre, la poursuite de son séjour en Suisse ne s'imposait pas pour des raisons personnelles majeures au sens des art. 50 al. 1 let. b et 50 al. 2 LEtr. D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement de réformer l'arrêt du Tribunal administratif fédéral du 29 mars 2011, en ce sens que la prolongation de son autorisation de séjour soit approuvée, subsidiairement, d'annuler cet arrêt et de retourner la cause au Tribunal administratif fédéral, subsidiairement à l'Office fédéral, pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il invoque la violation de l'art. 50 LEtr, l'établissement inexact des faits ainsi qu'une violation du principe de l'interdiction de l'arbitraire. Il requiert la production du dossier du SPOP et, au besoin, l'interpellation de certains amis au sujet de la qualité de son intégration en Suisse. Contestant le grief de constatation manifestement inexacte des faits, le Tribunal administratif fédéral se réfère au surplus aux considérants de son arrêt du 29 mars 2011. L'Office fédéral propose le rejet du recours. Dans ses observations complémentaires du 5 septembre 2011, X._ requiert du Tribunal fédéral qu'il recueille des renseignements complémentaires auprès d'un témoin sur les circonstances de son licenciement du restaurant B._. E. Par ordonnance du 25 mai 2011, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif contenue dans le recours. 