Sachverhalt: A. Die Eheleute Z._ sind Eigentümer der Liegenschaft KTN 1553 an der Hermannsweidstrasse 22 in Wollerau. Dieses Grundstück befindet sich in der W2-Zone und gehört zum Gestaltungsplangebiet "Höfli-Schwalbenboden". Der Gestaltungsplan "Höfli-Schwalbenboden" mit den zugehörigen Sonderbauvorschriften (im Folgenden Sonderbauvorschriften) wurde vom Regierungsrat des Kantons Schwyz am 13. Oktober 1981/27. März 2001 genehmigt. Am 5. Dezember 2005 erteilte der Gemeinderat Wollerau den Eheleuten Z._ die Baubewilligung für den Umbau des bestehenden Einfamilienhauses auf KTN 1553, welches am Einfamilienhaus der Eheleute X._ angebaut ist. Den Eheleuten Z._ wurde in dieser Baubewilligung die Auflage erteilt, dem Bauamt Wollerau spätestens zehn Tage vor Baubeginn die Materialisierung und die Farbgebung zu deklarieren. Dazu führte der Gemeinderat Wollerau in den Erwägungen aus, in den Baugesuchsunterlagen werde eine helle Farbe deklariert; gemäss den Bestimmungen in den Sonderbauschriften bedürfe es bei einer Änderung an der Fassade der Zustimmung des Gemeinderats, womit bezüglich Einheitlichkeit in genügendem Masse Rechnung getragen werden könne. Gegen den Gemeinderatsbeschluss vom 5. Dezember 2005 erhoben Y._ sowie die Eheleute X._ Beschwerde beim Regierungsrat des Kanton Schwyz. Mit Beschluss vom 19. Mai 2006 wies der Regierungsrat die Beschwerde von Y._ ab, während die Beschwerde der Eheleute X._ teilweise gutgeheissen wurde (bezüglich der zulässigen Länge der Dachlukarne). Eine gegen diesen Beschluss erhobene Beschwerde von Y._ bezüglich der Kostenregelung wurde vom Verwaltungsgericht des Kantons Schwyz am 28. Juni 2006 gutgeheissen. B. Das Bauamt der Gemeinde Wollerau erteilte am 26. Juni 2006 eine teilweise Baufreigabe zur Ausführung der unbestrittenen Umbauarbeiten. Das vorgesehene Material- und Farbkonzept bildete Gegenstand einer Besprechung vom 4. Juli 2006 (unter Teilnahme von Y._ sowie der Eheleute X._) und eines Augenscheins vom 17. Juli 2006. Am 14. August 2006 verfügte der Gemeinderat Wollerau unter anderem, dass die Materialisierung und deren Farbgebung der neuen Bauteile als vereinbar mit den Bestimmungen des Gestaltungsplanes erachtet und bewilligt würden (Ziff. 1), und dass die zulässigen Fassadenfarben für die Liegenschaft im Gestaltungsplan "Höfli-Schwalbenboden" durch die betroffenen Grundeigentümer gemeinsam festzulegen seien. Zudem wurde dem Ehepaar Z._ untersagt, die Fassade zu streichen, bevor das Farbkonzept vorliegen würde (Ziff. 2). Am 2. Mai 2007 reichte das Ehepaar Z._ beim Bauamt ein ergänztes Farbkonzept für die Fassade ein. Vorgesehen ist ein heller Fassadenanstrich "Marmoran, Farbe Nr. 2140". Der Gemeinderat brachte das Farbkonzept den benachbarten Grundeigentümern zur Kenntnis, worauf vier Einsprachen eingingen. Mit Beschluss vom 10. September 2007 wies der Gemeinderat Wollerau die Einsprachen ab und bewilligte das Farbkonzept mit Auflagen. Y._ sowie die Eheleute X._ beschwerten sich dagegen beim Regierungsrat des Kantons Schwyz, welcher mit Beschluss vom 24. Juni 2008 ihre Beschwerden guthiess und den Beschluss des Gemeinderats Wollerau vom 10. September 2007 aufhob. Hierauf gelangten die Eheleute Z._ sowie die Gemeinde Wollerau ans kantonale Verwaltungsgericht, welches die Beschwerden mit Urteil vom 29. Oktober 2008 guthiess und den Gemeinderatsbeschluss vom 10. September 2007 bestätigte. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 5. Januar 2009 beantragen die Eheleute X._ sowie Y._ dem Bundesgericht die Aufhebung des angefochtenen Urteils des Verwaltungsgerichts und die Bestätigung des Beschlusses des Regierungsrats vom 24. Juni 2008. Die Ehegatten Z._ als private Beschwerdegegner beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Gemeinde Wollerau stellt den Antrag, die Beschwerde sei abzuweisen. Desgleichen schliesst das Verwaltungsgericht des Kantons Schwyz auf Abweisung der Beschwerde. Der Regierungsrat des Kantons Schwyz beantragt sinngemäss Gutheissung der Beschwerde. In ihrer Replik vom 19. März 2009 halten die Beschwerdeführer an ihren Anträgen fest. D. Die privaten Beschwerdegegner haben das Bundesgericht in ihrer Eingabe vom 2. April 2009 darüber in Kenntnis gesetzt, dass die zukünftigen Eigentümer der Liegenschaft Hermannsweidstrasse 24 beabsichtigen würden, die Fassade mit der Farbe "Marmoran 2140" zu streichen. 