Sachverhalt: Sachverhalt: A. X._ lebt seit 1995 mit seiner Partnerin, A._, zusammen. Sie haben eine gemeinsame Tochter, B._, geb. am 27. September 2000. Gemäss Konkubinatsvertrag vom Dezember 2000 bezahlt X._ seiner Partnerin für die Haushaltsführung monatlich Fr. 500.-- und für die Tochter B._ monatlich Fr. 1'500.--. Im gleichen Haushalt lebt auch sein Sohn aus früherer Ehe, C._. In der Steuererklärung 2002 machte X._ einen Abzug für die Unterhaltsbeiträge für die Tochter B._ in der Höhe von Fr. 18'000.-- sowie Kinderbetreuungskosten für die Tochter B._ und den Sohn C._ von je Fr. 2'000.-- geltend. Die Veranlagungsbehörde anerkannte die geltend gemachten Unterhaltsbeiträge und die Kinderbetreuungskosten nicht. Eine Einsprache wies sie am 4. März 2004 ab. Sie erwog, bei unverheirateten, im gemeinsamen Haushalt lebenden Eltern könnten die von einem Elternteil geleisteten Unterhaltsbeiträge für das gemeinsame Kind nur anerkannt werden, wenn der entsprechende Unterhaltsvertrag durch die Vormundschaftsbehörde genehmigt worden sei. Das sei hier nicht der Fall. Auch die Abzüge für Kinderbetreuungskosten seien nicht zulässig, da die elterliche Sorge für die Tochter B._ der Mutter des Kindes obliege und der Sohn C._ am Ende der Steuerperiode das 17. Altersjahr bereits erreicht habe. Die Veranlagungsbehörde anerkannte die geltend gemachten Unterhaltsbeiträge und die Kinderbetreuungskosten nicht. Eine Einsprache wies sie am 4. März 2004 ab. Sie erwog, bei unverheirateten, im gemeinsamen Haushalt lebenden Eltern könnten die von einem Elternteil geleisteten Unterhaltsbeiträge für das gemeinsame Kind nur anerkannt werden, wenn der entsprechende Unterhaltsvertrag durch die Vormundschaftsbehörde genehmigt worden sei. Das sei hier nicht der Fall. Auch die Abzüge für Kinderbetreuungskosten seien nicht zulässig, da die elterliche Sorge für die Tochter B._ der Mutter des Kindes obliege und der Sohn C._ am Ende der Steuerperiode das 17. Altersjahr bereits erreicht habe. B. Gegen den Einspracheentscheid führte der Steuerpflichtige Rekurs beim Steuergericht des Kantons Solothurn. Dieses nahm die Eingabe als Beschwerde für die direkte Bundessteuer und als Rekurs betreffend die Staatssteuer entgegen. Mit Entscheid vom 26. September 2005 wies das Steuergericht Rekurs und Beschwerde ab. B. Gegen den Einspracheentscheid führte der Steuerpflichtige Rekurs beim Steuergericht des Kantons Solothurn. Dieses nahm die Eingabe als Beschwerde für die direkte Bundessteuer und als Rekurs betreffend die Staatssteuer entgegen. Mit Entscheid vom 26. September 2005 wies das Steuergericht Rekurs und Beschwerde ab. C. Mit Verwaltungsgerichtsbeschwerde vom 20. Januar 2006 beantragt der Steuerpflichtige, der Entscheid des Steuergerichts des Kantons Solothurn vom 26. September 2005 sei aufzuheben und es sei ihm der Abzug des Unterhaltsbeitrages für die Tochter B._ in der Höhe von Fr. 18'000.- für die direkte Bundessteuer und die Staatssteuer zu gewähren. Nicht mehr geltend gemacht wird der Abzug für die Kosten der Kinderbetreuung. Das Steueramt des Kantons Solothurn und das Steuergericht des Kantons Solothurn beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Eidgenössische Steuerverwaltung verzichtete auf Antrag und Stellungnahme zum konkreten Fall und beschränkte sich auf allgemeine Bemerkungen. 