Sachverhalt: A. Die Y._ AG, St. Gallen, ist Eigentümerin der Liegenschaften Nrn. 948 (857 m2 gross, mit einem älteren Einfamilienhaus überbaut) und 311 (7'848 m2 umfassend, unbebaut), Grundbuch Rorschacherberg. Daran grenzt nordwestlich die Parzelle Nr. 601 von Z._. Auf diesem 1'114 m2 grossen Grundstück steht ein älteres Einfamilienhaus im Chalet-Stil. Die Fläche der drei Grundstücke zusammen beträgt knapp 1 ha. Sie liegt im Osten der Politischen Gemeinde Rorschacherberg an einem dem Bodensee zugewandten Nordhang im Quartier Sandbüchel, direkt unterhalb der Autobahn A1. Im Norden wird das Gebiet von der Thalerstrasse, Kantonsstrasse 2. Klasse, südwestlich vom Trassee der Rorschach-Heiden-Bahn bzw. den Appenzeller Bahnen und im Süden schliesslich von einem Gemeindeweg 3. Klasse begrenzt. Von diesem Weg steigt die mit Bäumen und Sträuchern überwachsene Böschung bis zum Lärmschutzwall der Autobahn steil an. Der Bereich östlich davon ist mit Wohnhäusern überbaut, genauso wie das Gebiet nördlich hangabwärts auf der anderen Seite der Thalerstrasse. B. Die Y._ AG hatte die Parzellen Nrn. 311 und 948 im Austausch gegen ein anderes Grundstück erworben, das rund 400 m nordöstlich in Richtung Bodensee in der historischen Parklandschaft des Schlosses Wartegg liegt. Für dieses ursprüngliche Grundstück hatte bereits ein bewilligtes, aber noch nicht rechtskräftiges Projekt für eine Überbauung mit Mehrfamilienhäusern mit insgesamt 120 Wohnungen vorgelegen. Nachdem dieses Vorhaben nicht verwirklicht werden konnte, verkaufte die Y._ AG das Bauland an die inzwischen gegründete Stiftung Landschaftspark Wartegg und konnte als Ersatz die Parzellen im Oberen Sandbüchel erwerben. In der Folge erliess der Gemeinderat für das Gebiet im Oberen Sandbüchel einen Teilzonen- und Überbauungsplan sowie eine Änderung der Schutzverordnung, um den Bau von fünf Mehrfamilienhäusern zu ermöglichen. Das kantonale Amt für Raumentwicklung und Geoinformation (AREG) nahm dazu mit Vorprüfungsbericht vom 28. Oktober 2008 positiv Stellung. C. Gegen den erwähnten Teilzonen- und Sondernutzungsplan erhoben zwölf Nachbarn Einsprache, u.a. A. und B.X._ und Q._. Die Einsprachen konnten bis auf jene der Genannten gütlich erledigt werden, nachdem sich die Grundeigentümerin bereit erklärt hatte, ihr Gesuch um Erlass des Überbauungsplans Oberer Sandbüchel zurückzuziehen und das Plangebiet in der Regelbauweise zu überbauen. Der Gemeinderat hob den Sondernutzungsplan darum auf, schrieb die Einsprachen bezüglich des Überbauungsplans ab und wies sie im Übrigen ab. D. Der Teilzonenplan Oberer Sandbüchel wurde vom 20. Oktober bis 18. November 2009 dem fakultativen Referendum unterstellt, welches nicht ergriffen wurde. Gegen den zustimmenden Entscheid der Bürgerschaft rekurrierten die unterlegenen Einsprecher am 7. Dezember 2009 beim Baudepartement des Kantons St. Gallen mit dem Antrag, der Teilzonenplan sei aufzuheben. Das Departement wies den Rekurs am 6. Dezember 2010 mit der Begründung ab, seit der letzten Anpassung des Zonenplans seien rund 24 Jahre vergangen, weshalb die Grundeigentümerin eine Überprüfung der geltenden Zonierung habe verlangen dürfen. Die vorgenommene Änderung entspreche der kommunalen Richtplanung, liege im öffentlichen Interesse, berücksichtige die tatsächlichen Verhältnisse und sei mit Blick auf die in der Gemeinde angestrebte Entwicklung angemessen und zweckmässig. E. Das hierauf von den unterlegenen Rekurrenten angerufene Verwaltungsgericht schützte den Departementsentscheid mit Urteil vom 20. September 2011. F. Mit ihrer Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. Oktober 2011 beantragen A. und B.X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts vom 20. September 2011 aufzuheben, ebenso den Genehmigungsentscheid des AREG vom 23. Februar 2011 und den Teilzonenplan Oberer Sandbüchel. Gleichzeitig ersuchen sie um Gewährung der aufschiebenden Wirkung. Sie machen eine Verletzung des rechtlichen Gehörs, eine unrichtige Sachverhaltsfeststellung, die Verletzung von Art. 21 RPG, von Art. 47 RPV und eine willkürliche Anwendung kantonalen Rechts geltend. Die Y._ AG als private Beschwerdegegnerin und der Gemeinderat Rorschacherberg schliessen je auf Abweisung der Beschwerde, ebenso das Baudepartement und das Verwaltungsgericht des Kantons St. Gallen. In einer weiteren Eingabe halten die Beschwerdeführer sinngemäss an ihren Anträgen fest. Der Präsident der I. öffentlich-rechtlichen Abteilung hat das Gesuch um aufschiebende Wirkung mit Verfügung vom 1. Dezember 2011 abgewiesen. 