Sachverhalt: A. A und B X._ sind Eigentümer der Liegenschaft Y._ GB Nr. 660 im Halte von über 20 Aren. Darauf befinden sich ein Haupt- und ein Nebengebäude (Nr. 12 und Nr. 12A). In den Jahren 2001 bis 2003 liessen sie das Hauptgebäude bis auf die nordseitige Mauer sowie teilweise die Flanke Ost und West bis auf die Höhe des Eingangsportals abbrechen und ein sogenanntes Minergiehaus erstellen. Das Nebengebäude war vor dem Umbau eine Garage mit Schopf von 45 m2 und nachher eine Wohnung mit Garage von 3,75 Raumeinheiten. Für diese Bauarbeiten erwuchsen A und B X._ Kosten im Jahr 2001 von Fr. 181'349.75, im Jahr 2002 von Fr. 219'055.-- und im Jahr 2003 von Fr. 263'783.--. B. Für die Steuerperioden 2001-2003 machten A und B X._ die erwähnten Auslagen als Liegenschaftsunterhaltskosten geltend. In der Steuerperiode 2001 anerkannte die Steuerbehörde auf Einsprache hin keine, in der Steuerperiode 2002 nur Fr. 768.-- bei der Staatssteuer und Fr. 960.-- bei der direkten Bundessteuer und in der Steuerperiode 2003 wiederum überhaupt keine Liegenschaftsunterhaltskosten als abzugsberechtigt. Einen Rekurs und eine Beschwerde hiergegen wies das Steuergericht des Kantons Solothurn am 23. November 2009 ab, weil ein Abzug für Energiesparmassnahmen nur an bestehenden Gebäuden, nicht aber bei der Erstellung von Neubauten möglich sei. C. Mit Eingabe vom 10. Januar 2010 erheben A und B X._ gegen das Urteil des Steuergerichts des Kantons Solothurn vom 23. November 2009 (versandt am 18. Dezember 2009) Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht mit dem Antrag, das angefochtene Urteil bezüglich der Verweigerung des Abzugs von Liegenschaftsunterhaltskosten aufzuheben und die für die Steuerjahre 2001, 2002 und 2003 geltend gemachten Liegenschaftsunterhaltskosten bei der direkten Bundessteuer und der Staats- und Gemeindesteuer zum Abzug zuzulassen; eventuell sei die Sache zum Neuentscheid an die Vorinstanz zurückzuweisen. Sie rügen eine unrichtige Sachverhaltsfeststellung sowie eine Verletzung von Bundesrecht. D. Das Steueramt und das Steuergericht des Kantons Solothurn sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten ist. 