Sachverhalt: A. X._, Rentner, geboren 1929, erwarb im Jahre 1969 von seinem Onkel die Liegenschaft "A._" in F._, umfassend 51'121m2 mit Wohnhaus, Scheune, Wald und Wiese. Nach Parzellierung am 19. Dezember 1996, Genehmigung des Gestaltungsplans und Erschliessung begann er mit dem Verkauf der Parzellen. Für den Zeitraum vom 1. Januar 1997 bis 31. Dezember 1998 sind insgesamt 15 Handänderungen belegt. Die Steuerverwaltung für die direkte Bundessteuer des Kantons Schwyz setzte den Zeitpunkt der Aufnahme der selbständigen Erwerbstätigkeit als Liegenschaftenhändler auf den 19. Dezember 1996 fest und veranlagte X._ am 24. Juli 2001 für die direkte Bundessteuer 1999/2000 (unter Ausscheidung der ausländischen Einkünfte) mit einem steuerbaren Einkommen von Fr. 23'700.-- (satzbestimmend Fr. 28'300.--), bestehend im Wesentlichen aus AHV-Rente und dem Mietwert der eigenen Wohnung. Die Einsprache, mit welcher der Steuerpflichtige einen anrechenbaren Verlust aus Liegenschaftenhandel von Fr. 1'087'554.-- geltend machte, wies die Kantonale Steuerkommission Schwyz mit Entscheid vom 23. September 2008 ab. B. Mit Urteil vom 4. März 2009 hiess das Verwaltungsgericht des Kantons Schwyz die Beschwerde des Steuerpflichtigen gut, hob den Einspracheentscheid auf und wies die Sache zur neuen Veranlagung an die Steuerverwaltung zurück. Es schützte den Standpunkt des Steuerpflichtigen, wonach anlässlich der gemeinsamen Besprechung zwischen dem Steuerpflichtigen und der kantonalen Steuerverwaltung vom 19. Dezember 2001 eine Vereinbarung zustande gekommen sei. Danach betrage der Einbuchungswert für das damals noch unerschlossene Land per 19. Dezember 1996 Fr. 380.--/m2. Die Planungs- und Erschliessungskosten dürften, soweit geschäftsmässig begründet, zusätzlich eingebucht werden. C. Hiergegen führt die Verwaltung für die direkte Bundessteuer des Kantons Schwyz Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 4. März 2009 sei aufzuheben und der Veranlagungsentscheid zu bestätigen. Der Steuerpflichtige beantragt Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Schwyz und die Eidgenössische Steuerverwaltung haben auf eine Stellungnahme verzichtet. 