Sachverhalt: A. A.X._ bezog im April 2006 aus einer Vorsorgestiftung eine Kapitalleistung von Fr. 92'333.--. Im Dezember 2006 kaufte er sich mit Fr. 40'000.-- in eine andere Vorsorgeeinrichtung ein. Für die Steuerperiode 2006 verweigerte die Veranlagungsbehörde Y._ gegenüber A. und B.X._, den Betrag von Fr. 40'000.-- bei der Staats- und der Bundessteuer vom steuerbaren Einkommen abzuziehen. Dagegen erhoben die Betroffenen erfolglos Einsprache und danach Rekurs/Beschwerde an das Kantonale Steuergericht Solothurn. Mit berichtigter Verfügung vom 20. Januar 2009 erhob die Veranlagungsbehörde Y._ die Jahressteuer 2006 für die Staats- und Bundessteuer auf dem Differenzbetrag von Fr. 52'333.-- zwischen der Kapitalauszahlung und der danach geleisteten Einkaufssumme. Diese Verfügung erwuchs unangefochten in Rechtskraft. B. Am 29. Oktober 2009 haben die Eheleute X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie beantragen, das steuergerichtliche Urteil vom 31. August 2009 aufzuheben. Der Betrag von Fr. 40'000.-- sei bei der Staats- und der Bundessteuer vollumfänglich zum Abzug vom steuerbaren Einkommen zuzulassen. Das kantonale Steueramt, das Steuergericht und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde. 