Sachverhalt: A. Der früher unselbständig erwerbstätige X._ nahm per 1. Mai 1999 eine selbständige Erwerbstätigkeit auf, indem er die Einzelfirma "Z._" gründete. Im ersten Abschluss per Ende 2000 wies er nach Vornahme einer Sofortabschreibung von Fr. 161'246.40 einen Gewinn von Fr. 42'731.55 aus. Für den Rest der Steuerperiode 1999/2000 deklarierte X._ ein steuerbares Einkommen aus selbständiger Erwerbstätigkeit von Fr. 25'310.--. Nachdem die Bezirkssteuerkommission die Sofortabschreibung in der Steuerperiode 2001/2002 für volle zwei Jahre berücksichtigt hatte, rechnete sie diese für den Rest der Steuerperiode 1999/2000 im Betrag von Fr. 96'748.-- auf (Fr. 161'246.40 : 20 Monate x 12) und veranlagte X._ für ein Einkommen von Fr. 121'910.--. Eine dagegen erhobene Einsprache wurde von der kantonalen Steuerverwaltung am 24. Oktober 2003 abgewiesen. B. Die Steuerrekurskommission des Kantons Wallis wies eine Beschwerde gegen den Einspracheentscheid am 23. Februar 2005 ab. C. X._ hat gegen den (am 10. November 2006 zugestellten) Entscheid der Steuerrekurskommission am 13. Dezember 2006, soweit die direkte Bundessteuer 1999/2000 betreffend, Verwaltungsgerichtsbeschwerde an das Bundesgericht erhoben. Der Beschwerdeführer beantragt, der angefochtene Entscheid sei aufzuheben und das Einkommen aus selbständiger Erwerbstätigkeit mit Fr. 25'162.-- zu veranlagen. Die Steuerverwaltung des Kantons Wallis sowie die Eidgenössische Steuerverwaltung beantragen, die Beschwerde abzuweisen. Die Steuerrekurskommission des Kantons Wallis hat auf eine Stellungnahme verzichtet. 