Sachverhalt: A. A.a Der 1969 geborene B._, Paraplegiker seit 1993, arbeitete seit November 2003 in einem Vollzeitpensum bei den Schweizerischen Bundesbahnen SBB und war bei der Pensionskasse SBB für die berufliche Vorsorge versichert. Unter anderem wegen der lohnmässigen Einstufung kam es bald zu Unstimmigkeiten mit der Arbeitgeberin. Infolge einer Verschlechterung des Gesundheitszustandes ist B._ seit Mitte November 2007 in seiner Arbeitsfähigkeit erheblich eingeschränkt. Mit Vereinbarung vom 25. September 2009 beendigten B._ und die SBB das Arbeitsverhältnis gleichentags und ohne explizite schriftliche Angabe des Grundes. A.b Die Kantonale IV-Stelle Wallis sprach B._ ab 1. August 2009 eine halbe und ab 1. Dezember 2009 eine ganze Rente der Invalidenversicherung zu (Verfügung vom 18. März 2010), nachdem sie einen Invaliditätsgrad von 50 % ab 1. November 2008 sowie von 70 % ab 1. Dezember 2009 ermittelt hatte. Die Pensionskasse SBB anerkannte mit Schreiben vom 30. Dezember 2009 einen Anspruch des B._ auf eine halbe Invalidenrente ab 1. Oktober 2009 in der Höhe von Fr. 743.95 und auf eine ganze Invalidenrente ab 1. Dezember 2009 in der Höhe von Fr. 1'487.90, berechnet je aufgrund der minimalen gesetzlichen Austrittsleistung von Fr. 40'764.15. In der Folge entstand zwischen B._ und der Pensionskasse SBB eine Meinungsverschiedenheit über die Höhe der Invalidenrenten aus beruflicher Vorsorge. Während sich die Pensionskasse auf den Standpunkt stellte, aufgrund der Auflösung des Arbeitsvertrags in gegenseitigem Einvernehmen ständen dem Versicherten lediglich die tieferen Leistungen aus obligatorischer beruflicher Vorsorge zu, vertrat B._ die Auffassung, er habe seine Arbeitsstelle aus gesundheitlichen Gründen aufgegeben, weshalb er Anspruch auf höhere, auch den überobligatorischen Teil umfassende Invalidenleistungen habe. B. Am 17. November 2010 liess B._ beim Kantonsgericht Wallis Klage einreichen mit dem Antrag, die Pensionskasse SBB sei zu verpflichten, ihm eine Invalidenrente von Fr. 2'324.- pro Monat zu bezahlen, "und zwar ab 1. Oktober 2009 zu 50 % und ab 1. Dezember 2009 zu 100 %". Mit Entscheid vom 3. Februar 2012 hiess das Kantonsgericht Wallis die Beschwerde (richtig: die Klage) gut und verpflichtete die Pensionskasse SBB, B._ die reglementarischen Rentenleistungen der weitergehenden Vorsorge auszuzahlen. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt die Pensionskasse SBB die Aufhebung des Entscheids vom 3. Februar 2012 und die Abweisung der Klage vom 17. November 2010 beantragen. B._ lässt auf Abweisung der Beschwerde schliessen. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme. 