Sachverhalt: A. A.X._ und B.X._ wohnen in einer eigenen Liegenschaft in F._(SO). Per 1. Januar 2005 erwarben sie für Fr. 280'000.-- (inkl. Inventar und Mobiliar) eine Zweitwohnung in einem Chalet in G._ (VS). Im Jahr 2006 liessen sie an der Zweitwohnung Arbeiten für Fr. 68'527.-- ausführen. Am 18. Februar 2008 wurden A.X._ und B.X._ von der Veranlagungsbehörde Dorneck-Thierstein für die Staats- und die direkte Bundessteuer 2006 veranlagt. Dabei wurden die von den Steuerpflichtigen geltend gemachten Liegenschaftsunterhaltskosten für die Zweitwohnung nicht zum Abzug zugelassen. B. Gegen die Veranlagungsverfügung erhoben A.X._ und B.X._ Einsprache. Die Veranlagungsbehörde Dorneck-Thierstein hiess diese am 20. Oktober 2008 teilweise gut und erkannte immerhin gewisse Auslagen für Energiespar- und Umweltschutzmassnahmen zur Hälfte als abzugsberechtigt an. Zusammen mit den Prämien für Sachversicherungen wurden bezüglich der Zweitwohnung insgesamt Liegenschaftsunterhaltskosten in Höhe von Fr. 10'340.-- zum Abzug zugelassen, wovon Fr. 5'933.-- dem Kanton Wallis zugewiesen wurden. Einen Rekurs der Steuerpflichtigen betreffend die Staatssteuer bzw. eine von ihnen erhobene Beschwerde betreffend die direkte Bundessteuer wies das Steuergericht des Kantons Solothurn am 8. März 2010 ab. C. Mit Eingabe vom 26. April 2010 führen A.X._ und B.X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit dem sinngemässen Antrag, den vorinstanzlichen Entscheid sowie die Veranlagungsverfügung und den Einspracheentscheid aufzuheben und die geltend gemachten Unterhaltskosten für die Immobilie im Kanton Wallis in vollem Umfang zum Abzug zuzulassen. Am 3. Juni 2010 reichen A.X._ und B.X._ zudem eine "ergänzende Akteneingabe" ein. D. Das Steueramt des Kantons Solothurn und die Eidgenössische Steuerverwaltung stellen den Antrag, es sei auf die Beschwerde nicht einzutreten. Eventualiter beantragen sie die Abweisung der Beschwerde. Das Steuergericht des Kantons Solothurn schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. 