Sachverhalt: A. X._ ist selbständig erwerbender Liegenschaftenhändler. Bis zum 1. Juni 2000 hatte er Wohnsitz im Kanton Genf und war dort unbeschränkt steuerpflichtig. Seine Geschäftstätigkeit für die Deutschschweiz wickelte er im Rahmen seiner Einzelfirma "Y._" über seine Betriebsstätte in Zug ab. Die Gemeinde Z._ ZH auferlegte X._ im Zusammenhang mit der in den Jahren 1997 und 1998 erfolgten Veräusserung der meisten Einheiten der Überbauung "A._" Grundstückgewinnsteuern in der Höhe von Fr. 375'370.--. Dieser Betrag wurde auf Einsprache hin bestätigt, von der kantonalen Steuerrekurskommission aber am 8. März 2006 auf Fr. 198'351.-- herabgesetzt. B. Nach erfolgloser Beschwerde an das Verwaltungsgericht des Kantons Zürich haben die Eheleute X._ am 23. Februar 2007 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie machen im Wesentlichen eine interkantonale Doppelbesteuerung geltend und argumentieren, der vom Kanton Zürich zu Unrecht besteuerte Grundstückgewinn sei im Kanton Zug schon mit der Einkommenssteuer erfasst worden. Dementsprechend beantragen sie hauptsächlich, den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 20. Dezember 2006 aufzuheben. Eventualiter seien die Veranlagungsverfügungen der Kantonalen Steuerverwaltung Zug für die Staats- und Gemeindesteuern 1999/2000 (Bemessungsjahre 1997/98) vom 15. November 2002 aufzuheben. Subeventualiter seien die Zuger Veranlagungen für die genannten Jahre betragsmässig abzuändern. Die Gemeinde Z._ schliesst auf Abweisung der Beschwerde, das Verwaltungsgericht des Kantons Zürich auf Abweisung, soweit auf die Beschwerde überhaupt einzutreten sei. Die Steuerverwaltung des Kantons Zug hat auf eine Vernehmlassung verzichtet. C. Mit Präsidialverfügung vom 3. Mai 2007 ist ein Gesuch um aufschiebende Wirkung abgewiesen worden. 