Sachverhalt: Sachverhalt: A. X._, geb. 1950, baute seit 1989 eine im Handelsregister nicht eingetragene Einzelfirma, die auf Informatik-Architektur spezialisiert war, auf. Im Mai 1997 erlitt er einen Inlineskatingunfall. Infolge einer Fehlbehandlung seines Schien- und Wadenbeinbruchs setzte ein langwieriger Heilungsprozess ein, der durch mehrere Operationen unterbrochen wurde und nachfolgende Rekonvaleszenzzeiten bedingte. Eine private Versicherung richtete X._ eine Risikorente vom 30. Tag nach dem Unfall bis zum Ablauf von 720 Tagen aus. Daneben bezog er eine Rente gemäss UVG. Am 12. Juni 2002 wurde ihm sodann eine volle IV-Rente vom 1. März 1999 bis zum 28. Februar 2002 zugesprochen. Gegen die Reduktion auf eine halbe IV-Rente ab 1. März 2002 setzte sich X._ erfolgreich zur Wehr und bezieht soweit ersichtlich weiterhin eine volle IV-Rente. In seinem Geschäft erzielte er die folgenden Gewinne bzw. Verluste: Jahr Bruttogewinn Reingewinn Reinverlust 1995 Fr. 36'000.-- Fr. 20'404.87 - 1996 Fr. 18'358.-- - - 1997 (Unfalljahr) - Fr. 87'676.-- 1998 - - Fr. 54'184.-- 1999 - - Fr. 21'197.89 2000 - - Fr. 25'297.53 2001 - - Fr. 49'323.-- Diese Verluste resultierten insbesondere aus Mietaufwendungen, Büro- und Verwaltungsspesen, Abschreibungen auf Eigenentwicklungen, sonstigen Betriebsaufwendungen sowie Fahrzeugkosten. Diesen Aufwendungen standen - ausser aktivierten Eigenleistungen - keine echten Erträge gegenüber, insbesondere keine Honorare von Dritten. Diese Verluste resultierten insbesondere aus Mietaufwendungen, Büro- und Verwaltungsspesen, Abschreibungen auf Eigenentwicklungen, sonstigen Betriebsaufwendungen sowie Fahrzeugkosten. Diesen Aufwendungen standen - ausser aktivierten Eigenleistungen - keine echten Erträge gegenüber, insbesondere keine Honorare von Dritten. B. X._ wurde am 16. Februar 2004 für die direkte Bundessteuer 2001 entgegen seiner Selbstschatzung auf ein steuerbares Einkommen von Fr. 110'100.-- veranlagt; vom geltend gemachten Verlust wurde nur rund ein Drittel zum Abzug zugelassen. Die kantonale Steuerverwaltung nahm am 28. Juli 2005 im Einspracheverfahren eine reformatio in peius vor und erhöhte das steuerbare Einkommen für die direkte Bundessteuer 2001 um die zuvor noch teilweise zum Abzug zugelassenen Verluste auf Fr. 137'400.-- mit der Begründung, X._ habe angesichts der diversen Versicherungs- bzw. Sozialversicherungsleistungen, die von seiner gänzlichen Arbeitsunfähigkeit ausgingen, nicht noch eine selbständige Erwerbstätigkeit ausüben können. Von 1995 bis 2001 resultierten aus der Einzelfirma Verluste von durchschnittlich Fr. 43'000.--, die auf Aufwendungen beruhten, denen - abgesehen von der Aktivierung von Eigenleistungen - keine echten Erträge gegenüber gestanden hätten. Eine selbständige Erwerbstätigkeit sei daher zu verneinen. Die damit im Zusammenhang stehenden Einkommensminderungen wurden gestrichen. Eine dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Appenzell Ausserrhoden am 20. September 2006 (versandt am 23. März 2007) ab, weil es ebenfalls eine selbständige Erwerbstätigkeit verneinte. Eine dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Appenzell Ausserrhoden am 20. September 2006 (versandt am 23. März 2007) ab, weil es ebenfalls eine selbständige Erwerbstätigkeit verneinte. C. Mit Verwaltungsgerichtsbeschwerde vom 2. Mai 2007 beantragt X._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts vom 20. September 2006 aufzuheben, eventualiter den Entscheid zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Er rügt insbesondere eine offensichtlich unzutreffende Sachverhaltsfeststellung, indem die Vorinstanz nicht berücksichtige, dass die volle IV-Rente erst am 12. Juli (recte: Juni) 2002 rückwirkend ab 1999 zuerkannt worden sei und man ihm deshalb die Gewinnstrebigkeit nicht aus der Retrospektive absprechen könne. Zudem erblickt er darin ein willkürliches Vorgehen, dass bei den Staats- und Gemeindesteuern der Steuerperiode 2001 die selbständige Erwerbstätigkeit anerkannt wurde. Die kantonale Steuerverwaltung, das Verwaltungsgericht und die Eidgenössische Steuerverwaltung beantragen die Abweisung der Beschwerde. 