Sachverhalt: A. Die 1941 geborene, verheiratete D._ meldete sich am 12. März 2002 zum Bezug einer um ein Jahr vorbezogenen Altersrente bei der Eidgenössischen Alters- und Hinterlassenenversicherung (AHV) an. Im Antragsformular Ziffer 4.1 kreuzte sie die Frage nach einem allfälligen Wohnsitz ausserhalb der Schweiz mit "Nein" an. Mit Verfügung vom 17. April 2003 sprach ihr die Eidgenössische Ausgleichskasse (EAK) ab 1. Juli 2003 eine auf Grund des einjährigen Vorbezugs reduzierte, monatliche Altersrente von Fr. 1'390.- zu, gestützt auf ein massgebendes durchschnittliches Jahreseinkommen von Fr. 30'384.- und einer anrechenbaren Beitragsdauer von 41 Jahren (anwendbare Rentenskala 44). Nach Eintritt des Ehemannes der Versicherten ins Rentenalter berechnete die EAK die Rente neu und erhielt dabei Kenntnis davon, dass sich die Versicherte zwischen Juli 1985 und August 1990 mit ihrer Familie in den USA aufgehalten hatte und in dieser Zeit weder obligatorisch versichert war noch sich der freiwilligen Versicherung angeschlossen hatte. Mit Verfügung vom 28. Januar 2011, welche in Rechtskraft erwuchs, sprach sie D._ (neu gestützt auf ein durchschnittliches Jahreseinkommen von Fr. 90'480.- und einer anrechenbaren Beitragsdauer von 39 Jahren, wobei mit Berücksichtigung von Jugendjahren und Beitragsmonaten im Rentenalter eine teilweise Kompensation der nunmehr bestehenden Beitragslücken erfolgte) ab Februar 2011 eine plafonierte Altersrente von monatlich Fr. 1'648.- zu. Die Rentenverfügung vom 17. April 2003 zog sie in Wiedererwägung und berechnete die Rente der Versicherten für den Zeitraum vor dem 31. Januar 2011 neu. Mit Verfügung vom 2. Februar 2011 forderte sie von der Versicherte Fr. 5'534.- zurück, beschränkt auf die Zeit ab März 2006 infolge Verwirkung des Rückforderungsanspruchs. Die dagegen erhobene Einsprache wies die EAK mit Einspracheentscheid vom 20. Mai 2011 ab. B. Die hiegegen erhobene Beschwerde mit den Anträgen, dass ihr die Erziehungs- und Betreuungsgutschriften für die Jahre 1972 bis 1991 lückenlos gutzuschreiben seien, dass die Berechnungstabellen zu korrigieren und die Rückforderungsverfügung aufzuheben sei, wies das Verwaltungsgericht des Kantons Bern nach weiteren Abklärungen durch den Instruktionsrichter mit Entscheid vom 2. Mai 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt D._ beantragen, die Verfügung vom 2. Februar 2011 (recte: der Einspracheentscheid vom 20. Mai 2011) und der Entscheid des Verwaltungsgerichts seien aufzuheben. 