Sachverhalt: A. Am 27. Dezember 2010 erteilte der Gemeindevorstand Silvaplana der A._ AG sowie B._, C._, D._ und E._ die Baubewilligung für die Gesamtüberbauung Prasüras mit Abbruch von Chesa Retel und Chesa Casanova sowie dem Neubau der Häuser 1 und 2 auf Parzelle 1934, Haus 3 auf Parzelle 2033 (vorgesehene neue Nr. 2141), Haus 4 auf Parzelle 2033 und Haus 5 auf Parzelle 61. Die Baufreigabe per 2013 wurde nur für die Häuser 3 und 4 (mit Erstwohnungspflicht) und die unterirdische Einstellhalle (erste Etappe) erteilt. Für die Häuser 1, 2 und 5 (zweite Etappe) wurde unter "besondere Auflagen und Bedingungen" (Ziff. 2d) festgehalten, dass über die definitiven Kontingentszuweisungen und die Baufreigaben der zweiten Etappe entschieden werde, sobald die Kontingente für die folgenden Perioden gemäss Regionalem Richtplan Zweitwohnungsbau bestimmt seien. Diese Bewilligung erwuchs in Rechtskraft. Die Baufreigabe für die erste Etappe (Häuser 3 und 4 sowie Autoeinstellhalle) wurde auf 2011 vorgezogen, weil zwischenzeitlich Kontingente frei geworden waren. Mit der Realisierung dieser Etappe wurde bereits begonnen. B. Am 11. März 2012 nahm das Schweizer Stimmvolk die Volksinitiative "Schluss mit uferlosem Bau von Zweitwohnungen" an. Die Bauherrschaft trat am 22. Mai 2012 an die Baubehörde mit den Begehren heran, die Zweitwohnungen des Bauprojekts zweite Etappe von der Kontingentierungspflicht zu dispensieren und die sofortige Baufreigabe im Rahmen einer Ausnahmebewilligung gemäss Art. 82 des kantonalen Raumplanungsgesetzes vom 6. Dezember 2004 (KRG) zu erteilen. Eventuell sei die Baufreigabe ausgehend von einer neuen Kontingentszuweisung nach Art. 6 des Regionalen Richtplans Zweitwohnungsbau vom 26. Juni 2008 zu verfügen. Mit Entscheid vom 18. Juni 2012 wies der Gemeindevorstand Silvaplana das Gesuch ab, weil keine ausserordentlichen Verhältnisse nach Art. 82 KRG vorlägen. C. Dagegen erhoben die A._ AG und Mitbeteiligte am 13. Juli 2012 Beschwerde beim Verwaltungsgericht des Kantons Graubünden. Das Verwaltungsgericht wies die Beschwerde am 16. Oktober 2012 ab. D. Gegen diesen Entscheid gelangten die A._ AG und Mitbeteiligte am 15. November 2012 mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht. Sie beantragen, der angefochtene Entscheid sei aufzuheben und es sei die Gemeinde Silvaplana anzuweisen, die Baufreigabe für das Grossbauprojekt Häuser 1, 2 und 5 (Parzellen Nrn. 1934 und 61) mit sofortiger Wirkung zu erteilen. Eventualiter sei die Baufreigabe auf den Zeitpunkt zu erteilen, in welchem nach bisherigem Recht mit derselben gerechnet werden durfte. Subeventualiter sei die Sache im Sinne der Erwägungen zur Neubeurteilung an die Gemeinde Silvaplana zurückzuweisen. E. Das Verwaltungsgericht beantragt Abweisung der Beschwerde, soweit darauf eingetreten werde. Die Gemeinde Silvaplana schliesst auf Abweisung der Beschwerde. In ihrer Replik halten die Beschwerdeführer an ihren Anträgen fest. F. Mit Schreiben vom 29. April 2013 teilten die Beschwerdeführer mit, der frühere Präsident des Verwaltungsgerichts, Johann Martin Schmid, sei Ende 2012 aus seinem Amt ausgeschieden und sei zwischenzeitlich der Praxisgemeinschaft Bänziger, Toller und Partner, Rechtsanwälte beigetreten. Er habe im Verfahren R 12 69 als vorsitzender Richter geamtet und habe auch die Referentenaudienz von 26. Juli 2012 durchgeführt. Da die Gemeinde Silvaplana durch Otmar Bänziger vertreten sei, stelle sich die Frage nach der richterlichen Unabhängigkeit von Johann Martin Schmid, zumal dieser offensichtlich schon vor seiner Tätigkeit am Verwaltungsgericht mit Rechtsanwalt Bänziger in einer Bürogemeinschaft zusammengearbeitet habe. Hinzu komme, dass im Rahmen der Referentenaudienz vom Vorsitzenden deutliche Signale ausgesendet worden seien, dass der Entscheid des Verwaltungsgerichts zugunsten der Beschwerdeführer ausfallen werde; vor dem Hintergrund der jetzigen Zusammenarbeit des früheren Präsidenten des Verwaltungsgerichts und des Rechtsvertreters der Beschwerdegegnerin komme dem Umstand, dass der Entscheid konträr ausgefallen sei, nun eine gewichtigere Bedeutung zu. Es bestünden somit berechtigte Zweifel an der richterlichen Unabhängigkeit des vorsitzenden Richters; auch aus diesem Grund sei der angefochtene Entscheid aufzuheben. Mit Stellungnahme vom 6. Mai 2013 teilte Otmar Bänziger mit, dass Johann Martin Schmid erst per 1. März 2013 seiner Praxis beigetreten sei; die ersten Kontakte hätten im Dezember 2012 stattgefunden und die Beitrittsgepräche am 22. Januar 2013, mithin Monate nach dem angefochtenen Urteil vom 16. Oktober 2012. Aus dieser Sicht erscheine eine Befangenheit als völlig ausgeschlossen. Daran ändere auch die Tatsache nichts, dass bis zum Jahr 1991 eine Praxisgemeinschaft mit Johann Martin Schmid bestanden habe. Diese sei mit der Übernahme des Amts als Verwaltungsgerichtspräsident aufgelöst worden. In den letzten Jahren habe auch keine eigentliche freundschaftliche oder andere enge Beziehung bestanden. Es sei zudem immer wieder vorgekommen, dass das Verwaltungsgericht unter dem Präsidium von Johann Martin Schmid gegen die vom Büro Bänziger betreuten Gemeinden entschieden habe. Johann Martin Schmid macht geltend, er habe im Zeitpunkt des angefochtenen Entscheids vom 16. Oktober 2012 noch keinerlei berufliche Vorkehren getroffen, da er das 64. Lebensjahr erst Ende 2012 vollendet habe und sich für die Zeit nach dem Rücktritt alle Optionen offen halten wollte. Er bestätigt, dass erste Gespräche über den Eintritt in die Kanzleigemeinschaft Bänziger, Toller und Partner Mitte Dezember 2012 stattgefunden hätten. Die Behauptung, er habe bei der Referentenaudienz vom 27. Juli 2012 Signale in Richtung Gutheissung der Beschwerde gegeben, entbehre jeglicher Grundlage. Richtig sei nur, dass er die Parteien ermuntert habe, auf Gemeindeebene eine Lösung zu suchen. Das Verwaltungsgericht verzichtete auf eine Stellungnahme. Die Beschwerdeführer halten mit Eingabe vom 10. Juni 2013 an ihrem Standpunkt fest. 