Sachverhalt: A. A.a C._ war vom 1. Januar bis 31. Juli 2000 als Lehrerin für Textiles Werken an den Schulen X._ tätig. Vom 1. Februar bis 15. August 2001 erteilte sie Handarbeit und Werken an der Schule Y._. Vom 20. August 2001 bis 12. Juli 2002 war sie Klassenlehrerin an der Schule Z._. Vom 1. August 2002 bis 15. August 2003 war sie bei der Arbeitslosenversicherung angemeldet und bezog Arbeitslosenentschädigung aufgrund einer Vermittlungsfähigkeit von 100 %. In dieser Zeit begann sie an der Pädagogischen Hochschule U._ die Zusatzausbildung Zeichnen an der Volksschule, welche sie im Februar 2003 erfolgreich abschloss. Ab 16. August 2003 unterrichtete C._ Handarbeit und Werken an der Kantonalen Schule W._. In dieser Eigenschaft war sie bei der Beamtenversicherungskasse des Kantons Zürich (heute: BVK Personalvorsorge des Kantons Zürich; nachfolgend: BVK) berufsvorsorgeversichert. Seit 20. Oktober 2003 arbeitete sie aus gesundheitlichen Gründen nicht mehr. Im Zeitraum von Oktober 2004 bis September 2009 erwarb C._ an der Hochschule V._ den Bachelor of Arts in Information und Dokumentation. Die Invalidenversicherung, bei welcher sie sich im Februar 2004 zum Leistungsbezug angemeldet hatte, richtete unter dem Titel Umschulung Leistungen (u.a. Taggelder) aus. Mit Verfügung vom 19. August 2010 sodann sprach ihr die IV-Stelle des Kantons Zürich aufgrund eines Invaliditätsgrades von 100 % eine ganze Rente ab 1. September 2009 samt einer Kinderrente zu. A.b Gestützt auf die vertrauensärztliche Beurteilung von Dr. med. R._, FMH für Innere Medizin (Gutachten vom 21. Januar 2004), richtete die BVK ab 1. September 2004 bis zum Beginn der Umschulung und nach Wegfall des IV-Taggeldanspruchs eine auf der Grundlage eines Invaliditätsgrades von 50 % bemessene Berufsinvalidenrente aus. Am 23. Juli 2010 teilte sie C._ mit, dass die Leistungen per 30. September 2010 aufgehoben würden. Mit Einspracheentscheid vom 10. August 2010 stellte die BVK fest, dass kein Anspruch auf Versicherungsleistungen bestehe. B. Am 19. August 2010 erhob C._ Klage gegen den Kanton Zürich mit dem Begehren, dieser sei zu verpflichten, ihr aus dem Vorsorgeverhältnis ab 1. September 2009 eine Invalidenrente aufgrund eines Invaliditätsgrades von 100 % sowie eine entsprechende Kinderrente gemäss den gesetzlichen und reglementarischen Bestimmungen auszurichten, und ab dem Zeitpunkt der Klageeinreichung seien Verzugszinsen zu erbringen. Mit Entscheid vom 20. Februar 2012 wies das Sozialversicherungsgericht des Kantons Zürich die Klage ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt C._ beantragen, der Entscheid vom 20. Februar 2012 sei aufzuheben und ihr eine ganze Rente sowie eine Kinderrente ab dem 1. September 2009 zuzüglich eines Verzugszinses von 5 % ab 19. August 2010 zuzusprechen, unter Gewährung der unentgeltlichen Rechtspflege. Der Kanton Zürich, vertreten durch die Finanzdirektion, diese vertreten durch die BVK, beantragt die Abweisung der Beschwerde. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. C._ hat sich in einer weiteren Eingabe zur Sache geäussert. 