Sachverhalt: A. A.a In der Volksabstimmung vom 30. November 2008 nahmen die Stimmberechtigten des Kantons Zürich die Volksinitiative "Ja zur Wahlfreiheit beim Medikamentenbezug (Zürcher Medikamentenabgabe-Initiative)" an. Dadurch wurde § 17 des (alten) Gesetzes vom 4. November 1962 über das Gesundheitswesen (aGesG/ZH) dahin geändert, dass praxisberechtigten Ärztinnen und Ärzten auch in den Städten Zürich und Winterthur die Führung einer ärztlichen Privatapotheke bewilligt wird; zuvor galt diese Regelung nur in den übrigen Gemeinden des Kantons. A.b Dagegen erhobene Stimmrechtsbeschwerden wurden rechtskräftig abgewiesen, letztinstanzlich mit Urteil des Bundesgerichts vom 20. Januar 2011 (Verfahren 1C_468/2010 und 1C_472/2010). Sodann wurde die neue Bestimmung im abstrakten Normenkontrollverfahren vor Bundesgericht angefochten; die Beschwerde wurde mit Urteil vom 23. September 2011 abgewiesen (Verfahren 2C_53/2009). A.c Mit Beschluss vom 5. Oktober 2011 setzte der Regierungsrat des Kantons Zürich die beschlossene Änderung von § 17 aGesG/ZH auf den 1. Januar 2012 in Kraft. Die neue Bestimmung wurde redaktionell angepasst und als § 25a in das inzwischen geltende Gesundheitsgesetz vom 2. April 2007 (GesG/ZH; LS 810.1) eingefügt. Der Beschluss wurde am 21. Oktober 2011 in der Offiziellen Gesetzessammlung publiziert. B. B.a Gegen den Beschluss vom 5. Oktober 2011 erhoben X._, Y._ und Z._ Beschwerde beim Verwaltungsgericht des Kantons Zürich mit dem Antrag, die Änderung sei nur mit einer Übergangsfrist von mindestens fünf Jahren, eventualiter mit einer angemessenen Übergangsfrist, in Kraft zu setzen. B.b Zugleich erhoben die Genannten beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den gleichen Anträgen (Verfahren 2C_928/2011). Mit Verfügung vom 18. November 2011 wurde das Verfahren bis zum Entscheid des Verwaltungsgerichts sistiert. B.c Das Verwaltungsgericht wies mit Urteil vom 17. Januar 2012 die bei ihm erhobene Beschwerde ab und setzte den Termin der Inkraftsetzung neu auf den 1. Mai 2012 fest. B.d Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts schrieb mit Verfügung vom 24. Januar 2012 das Verfahren 2C_928/2011 wegen Rückzugs der Beschwerde als gegenstandslos ab. C. X._, Y._ und Z._ erheben gegen den Entscheid des Verwaltungsgerichts vom 17. Januar 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen das angefochtene Urteil aufzuheben bzw. die Gesetzesänderung nur mit einer Übergangsfrist von mindestens fünf Jahren, eventuell mit einer angemessenen Übergangsfrist, in Kraft zu setzen. Zugleich ersuchen sie um Erteilung der aufschiebenden Wirkung. Mit Verfügung vom 6. März 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts das Gesuch um aufschiebende Wirkung abgewiesen. Das Verwaltungsgericht und die Gesundheitsdirektion des Kantons Zürich beantragen Abweisung der Beschwerde. 