Faits: A. X._, ressortissant de côte d'Ivoire né en 1980, est entré en Suisse le 15 avril 2007 pour y déposer une demande d'asile. Par décision du 22 mai 2007, confirmée par le Tribunal administratif fédéral le 7 avril 2008, l'Office fédéral des migrations n'est pas entré en matière sur cette demande et a prononcé son renvoi de Suisse. L'intéressé a été interpellé le 28 juillet 2008 à Genève dans le cadre d'un contrôle de police à l'issue duquel il a reconnu s'adonner à la vente de cocaïne. Prévenu d'infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants (LStup; RS 812.121), il a été placé en détention préventive. Par jugement du 13 novembre 2008, le Tribunal de police de Genève l'a condamné pour infraction à l'art. 19 ch. 1 et ch. 2 let. a LStup à une peine privative de liberté de deux ans, avec sursis pendant quatre ans. Le 5 mars 2010, X._ a contracté mariage à Vernier (GE) avec Y._, ressortissante suisse et portugaise. Par requête du 15 mars 2010, il a sollicité l'octroi d'une autorisation de séjour au titre du regroupement familial. Le 19 août 2010, l'Office de la population du canton de Genève (ci-après : l'Office de la population) s'est déclaré disposé à lui délivrer une autorisation de séjour en application de l'art. 42 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), sous réserve de l'approbation de l'Office fédéral des migrations. B. Après lui avoir donné l'occasion de s'exprimer, l'Office fédéral des migrations a refusé d'approuver l'octroi de l'autorisation de séjour requise, par décision du 10 janvier 2011. Il a retenu que X._ avait gravement porté atteinte à l'ordre et à la sécurité publics en se livrant à un trafic de drogue, que son comportement répondait aux conditions d'application de l'art. 63 al. 1 let. b LEtr et qu'au vu de l'activité délictueuse déployée, il ne pouvait pas se prévaloir de l'art. 8 par. 1 de la Convention du 4 novembre 1950 de sauvegarde des droits de l'homme et des libertés fondamentales (CEDH; RS 0.101) pour prétendre à l'octroi d'une autorisation de séjour en Suisse. Saisi d'un recours contre la décision précitée de l'Office fédéral des migrations, le Tribunal administratif fédéral l'a rejeté, par arrêt du 21 septembre 2011. Il a considéré, en substance, que la condamnation de l'intéressé à une peine privative de liberté de longue durée au sens de l'art. 62 let. b LEtr justifiait le refus d'octroyer l'autorisation de séjour sollicitée et que la pesée des intérêts publics et privés, tant au plan du droit interne qu'au regard de l'art. 8 CEDH, conduisait au même résultat. Il a également retenu que X._ présentait encore une menace actuelle pour l'ordre et la sécurité publics au sens de l'art. 5 par. 1 de l'annexe I à l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). C. Agissant par la voie du recours en matière du droit public et par celle du recours constitutionnel subsidiaire, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif fédéral du 21 septembre 2011 ainsi que la décision de l'Office fédéral des migrations du 10 janvier 2011 et, principalement, d'ordonner à l'Office fédéral des migrations l'approbation à l'octroi, par le canton de Genève, d'une autorisation de séjour au titre du regroupement familial, subsidiairement, de renvoyer la cause à l'Office fédéral des migrations pour nouvelle décision. Il soutient qu'il a droit à une autorisation de séjour dès lors qu'il ne représente plus une menace pour la sécurité et l'ordre publics, que les autorités précédentes ont fait fi de sa situation personnelle et que l'arrêt entrepris viole la garantie au respect de sa vie privée et familiale. Le Tribunal administratif fédéral renonce à se prononcer sur le recours. L'Office fédéral des migrations propose de le rejeter. D. Statuant sur la requête d'effet suspensif présentée par X._ le 23 janvier 2012, le Président de la IIe Cour de droit public l'a admise, par ordonnance du 27 janvier 2012. 