Faits: A. Feue M._, ressortissante hongroise, a été mise au bénéfice d'une rente ordinaire de l'assurance-vieillesse et survivants suisse (AVS) à partir du 1er mai 2000. Domiciliée en Hongrie, elle a quitté ce pays et s'est installée depuis le 1er mars 2003 au Mexique, où elle a résidé jusqu'au 31 mai 2008. Dès le 1er juin 2008 et jusqu'à son décès en 2009, elle a été domiciliée en Autriche. Le 3 décembre 2010, la Caisse suisse de compensation (ci-après: la caisse) a adressé à K._, fils et seul héritier de feue M._, une décision par laquelle elle a alloué une rente ordinaire de veuve de l'AVS à la prénommée pour la période du 1er juin 2008 au 31 janvier 2009. K._ s'est opposé à cette décision, en concluant à l'octroi d'une rente de veuve pour la période du 1er mars 2002 au 30 mai 2008. Par décision sur opposition du 27 avril 2011, la caisse a confirmé son prononcé du 3 décembre 2010. En bref, elle a considéré que le paiement de rentes à une ressortissante hongroise n'était prévu par la législation applicable qu'à la condition qu'elle résidât en Suisse ou dans un Etat membre de l'Union européenne; le versement de la rente de veuve devait être repris seulement à compter du mois où feue l'assurée s'était domiciliée en Autriche. B. Statuant le 11 novembre 2011 sur le recours formé par K._ contre la décision sur opposition, le Tribunal administratif fédéral l'a rejeté. C. K._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il conclut au versement des arriérés de rente AVS de feue M._ pour la période de mars 2002 au 30 mai 2008. Le Tribunal fédéral a renoncé à procéder à un échange d'écritures. 