Sachverhalt: A. A._ erwarb die Liegenschaften KTN xxx, yyy, und zzz (heute vereinigt als KTN xxx) mit zwei Gebäuden in U._ von seinem Vater und seiner Schwester in den Jahren 1993, 1997, 1998 und 2004 jeweils zu Vorzugspreisen unter Anrechnung an die Erbschaft. In den Jahren 2005 und 2006 liess er Unterhaltsarbeiten an den bestehenden Gebäuden ausführen. In den Jahren 2009 und 2010 liess er die bestehenden Gebäude abtragen und mit einem Mehrfamilienhaus mit sechs Wohnungen überbauen. Von Dezember 2010 bis Februar 2011 verkaufte A._ vier Wohnungen. Eine Wohnung ist noch nicht verkauft; eine Wohnung übernahm er selbst. Am 21. August 2012 wurde A._ für die direkte Bundessteuer 2010 und 2011 veranlagt. Dabei nahm die Veranlagungsbehörde gegenüber den deklarierten Faktoren Aufrechnungen für Einkommen aus gewerbsmässigem Liegenschaftenhandel in der Höhe von Fr. ... (2010) und Fr. ... (2011) vor. Den Beginn der gewerbsmässigen Tätigkeit setzte sie auf den 1. Januar 2008 und den Verkehrswert des Landes in diesem Zeitpunkt auf 1'500.-- pro m2 fest. Für die kantonalen Steuern erfolgte keine entsprechende Aufrechnung. B. Eine Einsprache, mit welcher der Steuerpflichtige sowohl das Vorhandensein eines gewerbsmässigen Liegenschaftenhandels wie auch den angenommenen Verkehrswert des Landes per 1. Januar 2008 bestritt, blieb ohne Erfolg. Mit Entscheid vom 17. September 2013 wies das Verwaltungsgericht des Kantons Schwyz eine Beschwerde von A._ ab. C. Mit Beschwerde in öffentlichrechtlichen Angelegenheiten beantragt A._, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 17. September 2013 sei aufzuheben und das steuerbare Einkommen für das Jahr 2010 auf Fr. ... und für das Jahr 2011 auf Fr. ... festzusetzen; es sei festzustellen, dass es sich beim Gewinn des Beschwerdeführers aus den Veräusserungen der Wohnungen um einen steuerfreien privaten Kapitalgewinn handle. Eventualiter sei das steuerbare Einkommen für das Jahr 2010 auf Fr. ... und für das Jahr 2011 auf Fr. ... festzusetzen. Die Verwaltung für die direkte Bundessteuer des Kantons Schwyz und die Eidgenössische Steuerverwaltung beantragen, die Beschwerde abzuweisen. Das Verwaltungsgericht des Kantons Schwyz verzichtete auf eine Vernehmlassung. 