Sachverhalt: A. X._ (geb. 1940, im Folgenden auch: "Der Steuerpflichtige" bzw. zusammen mit seiner Ehefrau Y._: "Die Steuerpflichtigen") betrieb als Einzelunternehmer ein B._unternehmen. In einem Erbteilungsprozess über den Nachlass seines Vaters schloss er 1993 mit seinen beiden Schwestern einen Vergleich, wonach sich diese verpflichteten, ein von ihnen als Erbvorbezug empfangenes Grundstück in A._ in die Erbengemeinschaft einzuwerfen. Gegen eine Ausgleichszahlung von insgesamt Fr. 570'000.-- (je Fr. 285'000.--) ihres Bruders schieden die beiden Schwestern gleichzeitig aus der Erbengemeinschaft aus und X._ übernahm den gesamten Nachlass seines Vaters. Auf das damit ebenfalls in sein Alleineigentum fallende Grundstück entfiel dabei ein Betrag von Fr. 500'000.-- (der Rest betraf den übrigen Nachlass), da die drei Geschwister in den Vergleichsverhandlungen des Erbteilungsprozesses von einem Übernahme- bzw. Anrechnungswert von Fr. 750'000.-- ausgegangen waren. B. X._ buchte in der Folge das genannte Grundstück zu einem Buchwert von Fr. 500'000.-- in seine Geschäftsbuchhaltung ein und nahm darauf über Jahre sich die Waage haltende Abschreibungen und Aufwertungen vor. Im Rahmen eines Quartierplanverfahrens wurde das Grundstück im Jahre 2000 ausserdem mit einem anderen abgetauscht, wobei beide Grundstücke durchgehend geschäftlich genutzt wurden. Im Jahre 2004 gab X._ seine Tätigkeit als B._-unternehmer auf. 2006 verkaufte er das Grundstück in A._ zum Preis von Fr. 1'935'600.--. C. In der Veranlagungsverfügung für die direkte Bundessteuer 2006 vom 8. August 2008 erfasste die Veranlagungsbehörde (Steuerkommissär) den bei der Veräusserung der Liegenschaft erzielten Kapitalgewinn als steuerbares Einkommen. Für die Bemessung des steuerbaren Gewinns ging der Steuerkommissär von der Differenz zwischen dem Veräusserungserlös und dem Buchwert der Liegenschaft von Fr. 500'000.-- aus. X._ und Y._ wurden - unter Einbezug aller anderen, hier nicht interessierenden Faktoren - mit einem steuerbaren Einkommen von Fr. 1'524'200.-- veranlagt. D. Die von den Steuerpflichtigen hiegegen erhobene Einsprache wurde im Einverständnis aller Antragsteller im Sinne von Art. 132 Abs. 2 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG, SR 642.11) als Beschwerde an die Steuerrekurskommission des Kantons Zürich überwiesen und von dieser mit Entscheid vom 4. Dezember 2008 gutgeheissen. Die Rekurskommission erwog im Wesentlichen, vorliegend hätte das in Frage stehende Grundstück, dessen Wert im Moment der Einbuchung unbestrittenermassen Fr. 750'000.-- betragen habe, vom Steuerpflichtigen im Jahre 1993 mindestens zu diesem Wert eingebucht werden müssen. Die Einbuchung mit Fr. 500'000.-- sei von vornherein als handelsrechtswidrig zu betrachten. Der damit bestehende Bilanzierungsfehler sei gravierend, von den Steuerpflichtigen nachgewiesen und erfolgsneutral zu korrigieren, womit Anfang 2006 von einem handelsrechtskonformen (korrigierten) Buchwert von Fr. 750'000.-- auszugehen sei. Damit reduziere sich der steuerbare Kapitalgewinn unter Berücksichtigung der AHV-Beiträge auf selbständiger Erwerbstätigkeit entsprechend um Fr. 225'500.--. Die Steuerrekurskommission veranlagte die Eheleute X._ und Y._ betreffend die direkte Bundessteuer (Steuerperiode 2006) daher mit einem steuerbaren Einkommen von Fr. 1'298'700.--. E. Gegen diesen Entscheid führte die Eidgenössische Steuerverwaltung Beschwerde beim Verwaltungsgericht des Kantons Zürich. Mit Urteil vom 31. März 2010 hiess dieses die Beschwerde im Umfang von 9/10 des gestellten Antrages teilweise gut und veranlagte die Eheleute X._ und Y._ betreffend die genannte Steuerperiode mit einem steuerbaren Einkommen von - wiederum - Fr. 1'524'000.--. F. Mit - gemeinsamer - Eingabe vom 11. Juni 2010 führen X._ und Y._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das letztgenannte Urteil aufzuheben und sie - die Steuerpflichtigen - betreffend die direkte Bundessteuer (2006) mit einem steuerbaren Einkommen von Fr. 1'298'700.-- zu veranlagen. Das Kantonale Steueramt Zürich sowie die Eidgenössische Steuerverwaltung beantragen, die Beschwerde abzuweisen. Die Steuerrekurskommission des Kantons Zürich schliesst auf Gutheissung. Das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. 