Sachverhalt: A. X._ hatte für das Steuerjahr 1998 Staats- und Gemeindesteuern im Betrag von Fr. 1'938.-- zu viel bezahlt. Am 9. Oktober 2001 wurde der Betrag zuzüglich der bis dahin aufgelaufenen Vergütungszinsen (insgesamt Fr. 2'071.50) mit der provisorischen Rechnung für das Steuerjahr 2001 (Fr. 1'188.70) verrechnet. Die Restanz von Fr. 882.80 wurde am 30. April 2002 auf das Steuerjahr 2002 übertragen und am 31. Oktober 2002 mit der provisorischen Steuerrechnung 2002 von Fr. 1088.60 verrechnet. Der für dieses Jahr verbleibende Betrag von Fr. 800.90 wurde mit der provisorischen Steuerrechnung 2004 verrechnet. Für die Kantons- und Gemeindesteuern 2006 wurde X._ mit Einkommenssteuern von Fr. 38'781.10 veranlagt. Die damals noch bestehenden Steuerguthaben des Steuerpflichtigen aus den Jahren 2004 und 2007 im Betrag von Fr. 1'214.10 bzw. Fr. 813.40 (insgesamt Fr. 2027.50) wurden mit dieser Forderung verrechnet, womit eine Steuerforderung von Fr. 36'753.60 verblieb. Die Veranlagung ist rechtskräftig. Am 30. Januar 2011 gelangte X._ an die Finanzverwaltung Magden mit dem Antrag, ihm ein Steuerguthaben von Fr. 2'041.55 (Fr. 2'027.50 + noch nicht erstatteter Vergütungszins 2002 von Fr. 14.05) auszubezahlen, was diese ablehnte. Seinen gegen diesen Entscheid gerichteten Rekurs wies der Einzelrichter des Steuerrekursgerichts des Kantons Aargau am 16. Juni 2011 ab, soweit darauf eingetreten wurde. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, den erwähnten Entscheid des Steuerrekursgerichts aufzuheben und die Gemeinde Magden zu verpflichten, ihm ein Steuerguthaben von Fr. 2'041.55 "inklusive aufgelaufener Zinsen" auszubezahlen. Das Kantonale Steueramt Aargau stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Steuerrekursgericht hat auf eine Vernehmlassung verzichtet. Das Verwaltungsgericht des Kantons Aargau und die Eidgenössische Steuerverwaltung haben keinen Antrag gestellt. 