Sachverhalt: A. X._ ist Eigentümer verschiedener Liegenschaften (vorwiegend Mehrfamilienhäuser) vor allem in der Stadt A._ und Umgebung. Diese ergaben im Jahr 2006 einen Ertrag von über ... Mio. Franken und wurden Ende 2005 mit ... Mio. Franken bzw. Ende 2006 mit ... Mio. Franken bilanziert. Die Hypothekarschulden beliefen sich per Ende 2005 auf ... Mio. Franken und Ende 2006 auf über ... Mio. Franken. Zum Immobilienkomplex von X._ gehörten auch vier in den Jahren 1993 und 1998 erworbene Grundstücke der Überbauung E._ in B._ (Kat. Nr. ...., ...., .... und ....). Am 3. Juli 2006 verkaufte er diese Liegenschaften zum Gesamtpreis von Fr. ... an eine Versicherungsgesellschaft. Mit dem Erlös erwarb er ein Ersatzgrundstück für ... Mio. Franken in der Stadt A._, investierte ... Mio. Franken in ihm gehörende überbaute Grundstücke und ging eine Verpflichtung für die Überbauung eigener Grundstücke über ... Mio. Franken ein. X._ liess seine Einzelfirma erst am 5. Juni 2009 im Handelsregister eintragen. Der Firmenzweck lautet auf "Erwerb, Verwaltung, Vermittlung und Handel mit Immobilien". Kurze Zeit später übertrug er die Liegenschaften der Einzelfirma auf die Y._ Immobilien AG. B. Im Grundsteuerverfahren der am 3. Juli 2006 veräusserten Grundstücke beantragte X._ den Aufschub der Grundstückgewinnsteuer infolge Ersatzbeschaffung von betriebsnotwendigem Anlagevermögen. Mit Einschätzungsentscheid vom 13. September 2007, bestätigt mit Einspracheentscheid vom 6. März 2008, veranlagte die Kommission für Grundsteuern der Stadt B._ einen Grundstückge- winn von Fr. ... und eine Grundstückgewinnsteuer von Fr. .... Den Rekurs des Steuerpflichtigen gegen den Einspracheentscheid wies die Steuerrekurskommission III des Kantons Zürich am 10. September 2008 ab. Am 8. Juli 2009 hiess das Verwaltungsgericht des Kantons Zürich die dagegen gerichtete Beschwerde teilweise gut und wies die Sache an die Steuerrekurskommission III zur Abklärung, ob bei den betroffenen Grundstücken die für die Ersatzbeschaffung erforderlichen Voraussetzungen eines Betriebs erfüllt seien, zurück. Nach durchgeführter Untersuchung wies die Steuerrekurskommission III des Kantons Zürich den Rekurs von X._ im zweiten Rechtsgang mit Entscheid vom 17. Februar 2010 ab. Die Beschwerde von X._ gegen dieses Urteil wies das Verwaltungsgericht des Kantons Zürich mit Entscheid vom 17. November 2010 ab, soweit es darauf eintrat. C. Hiergegen führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den sinngemässen Anträgen, es sei der Entscheid des Verwaltungsgerichts vom 17. November 2010 aufzuheben und die Grundstückgewinnsteuer aufzuschieben; eventuell sei die Sache an das Verwaltungsgericht zur Neubeurteilung zurückzuweisen. Gerügt wird die Verletzung von Bundesrecht sowie des Anspruchs auf rechtliches Gehör. Die Kommission für Grundsteuern der Stadt B._, das Kantonale Steueramt Zürich und das Verwaltungsgericht des Kantons Zürich beantragen Abweisung der Beschwerde (soweit darauf einzutreten ist). Die Eidgenössische Steuerverwaltung hat auf die Stellung eines Antrags verzichtet. 