Sachverhalt: A. A.X._, N._ und R._ betreiben unter der Firma Y._ in Form einer Personengesellschaft den Gemüseanbau und Gemüsehandel in E._ (nachfolgend: Y._). Sie waren infolge einfacher Gesellschaft Gesamteigentümer der Liegenschaften GB E._, Parzellen Nr. xxx und xxxx, mit einer Fläche von 1,8367 ha. Mit öffentlich verurkundetem Kaufvertrag vom 10. Dezember 2003 und Nachtrag vom 2. April 2004 verkauften die Y._ die beiden Grundstücke an die Z._ AG mit Sitz in H._ zum Preis von Fr. 3'414'000.-- (Fr. 185.-- pro m2). Diese räumte den Verkäufern im Gegenzug ein im Grundbuch vorgemerktes Rückkaufsrecht an den beiden Grundstücken zum Preis von Fr. 7.50 pro m2 ein. Dieses Rückkaufsrecht wurde auf die Dauer von 25 Jahren vereinbart und darf erst ausgeübt werden, wenn der Kiesabbau vollständig durchgeführt und das Land rekultiviert ist. Gleichzeitig verpflichteten sich die Y._ im Sinne einer vorvertraglichen Verpflichtung, die beiden Parzellen zu den genannten Bedingungen zurückzukaufen. Im gleichen Kaufvertrag erwarben A.X._, N._ und R._ zur gesamten Hand von der Z._ AG neun Parzellen abgebautes und wieder aufgefülltes, rekultiviertes Land in E._ mit einer Gesamtfläche von 20,1878 ha zum Preis von Fr. 1'481'217.-- (Fr. 7.-- bzw. 8.-- pro m2). Zudem kauften sie anderweitig zwei Grundstücke. Insgesamt veräusserten A.X._, N._ und R._ demnach Grundstücke im Betrag von Fr. 3,414 Mio. (Gesamtfläche rund 1,8 ha) und erwarben Grundstücke im Gesamtbetrag von ca. Fr. 1'625 Mio. (Gesamtfläche rund 21,8 ha). A.X._, N._ und R._ sind zudem Eigentümer von Land im Gebiet T._ entlang der Reuss. B. In der Jahresrechnung 2004 wies die Y._ aus der Veräusserung der Grundstücke an die Z._ AG einen Bruttoertrag von Fr. 3,414 Mio. aus und verbuchten den Gesamtbetrag der neu erworbenen Grundstücke als Aufwand (Ersatzbeschaffung) mit Fr. 1'625'388.05. Im Konto 2080 (Rückstellung Werteinbusse Land) nahm die Personengesellschaft ausserdem eine Wertberichtigung für das Land T._ (Bilanzposition 1113) im Betrag von Fr. 548'266.-- vor. C. Bei der Veranlagung von A.X._ und B.X._ für die Kantons- und Gemeindesteuern 2004 nahm die Steuerkommission J._ gegenüber der Jahresrechnung 2004 der Y._ folgende Korrekturen vor: - Die geltend gemachten Ersatzbeschaffungen von insgesamt Fr. 1'625'388.05 anerkannte die Steuerkommission lediglich in der Höhe des mit der Z._ AG für das abgebaute, wieder aufgefüllte und rekultivierte Land vereinbarten Rückkaufspreises von Fr. 137'752.50. Sie begründete das damit, dass die veräusserten Liegenschaften nur bis zur Höhe des landwirtschaftlichen Werts als betriebsnotwendig anerkannt werden könnten und der vereinbarte Rückkaufspreis diesem Wert entspreche. - Die "Wertberichtigung Land T._" im Betrag von Fr. 548'266.-- rechnete die Steuerkommission auf mit der Begründung, der Verkehrswert der fraglichen Parzelle liege bereits über dem Buchwert vor der Berichtigung. Sie bezog sich dabei auf die Verkehrswertschätzung des kantonalen Steueramts vom 21. März 2008 für dieses Grundstück (Einspracheentscheid vom 23. März 2009). Mit Entscheid vom 3. März 2011 bestätigte das Steuerrekursgericht des Kantons Aargau diese Steuereinschätzung. Eine Beschwerde von A.X._ und B.X._ wies das Verwaltungsgericht des Kantons Aargau mit Urteil vom 7. Dezember 2011 ab. D. Gegen das Urteil des Verwaltungsgerichts des Kantons Aargau vom 7. Dezember 2011 führen A.X._ und B.X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen, die in der Jahresrechnung der Personengesellschaft vorgenommene "Wertberichtigung Land T._" (Bilanzposition 1113) sei zu anerkennen und die Aufrechnung von Fr. 548'266.-- (Anteil Beschwerdeführer Fr. 182'755.--) zu streichen; die geltend gemachte Ersatzbeschaffung in der Höhe von Fr. 1'625'388.-- (Anteil Beschwerdeführer Fr. 541'796.--) sei steuerlich zu bestätigen und der Steueraufschub zu gewähren. Das Kantonale Steueramt Aargau, die Eidgenössische Steuerverwaltung und das Verwaltungsgericht des Kantons Aargau verzichten auf ihr Recht zur Vernehmlassung. 