Faits: A. D._, née en 1980, a exercé en dernier lieu la profession d'agente de sécurité (de 2003 à septembre 2006). Incapable de travailler à partir du 8 février 2008 en raison d'une maladie de Kienböck du poignet gauche (stade III-IV), elle a déposé, le 15 juillet 2008, une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). Dans le cadre de l'instruction de la demande, l'office AI a recueilli des renseignements auprès du médecin traitant, la doctoresse J._, spécialiste FMH en chirurgie plastique, reconstructive et esthétique, ainsi qu'en chirurgie de la main, et demandé conseil à son Service médical régional (SMR). Dans un rapport du 4 mai 2009, la doctoresse J._ a fait état d'une probable maladie de Kienböck débutante du poignet droit et conclu à une incapacité de travail totale dans les activités demandant l'utilisation répétitive des deux poignets; en revanche, la capacité de travail était entière dans une activité adaptée. Dans un rapport subséquent du 4 décembre 2009, elle a confirmé le diagnostic de la maladie de Kienböck du poignet droit et le degré de capacité de travail retenu. L'administration, dont le premier projet de décision (du 5 juin 2009) a été contesté par l'assurée, a rendu le 18 mars 2010 un second projet de décision refusant la demande de prestations de l'intéressée, motif pris que le taux d'invalidité de 14,5 % était insuffisant pour ouvrir le droit aux prestations requises. D._ s'est opposée à ce nouveau projet de décision en produisant deux rapports des 4 mars et 4 mai 2010 du docteur S._, spécialiste FMH en chirurgie plastique et reconstructive, ainsi qu'en chirurgie de la main, lequel retenait une capacité de travail maximale de 50 % dans une activité adaptée. Suivant l'avis de son médecin conseil (avis du 16 août 2010 du docteur C._), l'office AI a maintenu sa position par décision du 23 août 2010. B. L'assurée a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en faisant verser à la procédure deux rapports (des 29 juin et 23 novembre 2010) de la doctoresse J._, dans lesquels cette dernière concluait désormais à une capacité de travail maximale de 50 % dans une activité adaptée. Par jugement du 12 mai 2011, le Tribunal cantonal vaudois a débouté l'intéressée. C. D._ interjette un recours en matière de droit public contre ce jugement, dont elle demande principalement la réforme en ce sens qu'une rente entière d'invalidité lui soit accordée avec effet rétroactif. Subsidiairement, elle conclut à l'octroi d'une mesure de reclassement professionnel, voire à l'annulation du jugement entrepris et au renvoi de la cause à la juridiction cantonale. L'office AI n'a formulé aucune observation particulière, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 