Sachverhalt: A. Der Club X._ ist ein Fussballverein mit Sitz in Solothurn, welcher im Jahr 2009 insgesamt 13 Mannschaften trainierte. Am 17. Dezember 2009 stellte die Einwohnergemeinde der Stadt Solothurn dem Club X._ für die Benutzung des Sportplatzes A._ während des Jahres 2009 einen Betrag von Fr. 5'520.-- in Rechnung. B. Mit Schreiben vom 30. Dezember 2009 beschwerte sich der Club X._ bei der städtischen Beschwerdekommission gegen die obengenannte Rechnung. Zur Begründung führte er insbesondere aus, dass in der beanstandeten Gebühr auch ein Entgelt für den Energieverbrauch in den städtischen Gemeinschaftsgarderoben und deren Reinigung enthalten sei, obschon er diese Garderoben gar nicht benutze, zumal er auf dem Sportplatz über ein Clubhaus mit eigenen Garderoben verfüge. Mit Beschluss vom 26. April 2010 wies die Beschwerdekommission die Beschwerde ab. Eine vom Club X._ hiergegen beim Regierungsrat des Kantons Solothurn erhobene Beschwerde wies das Volkswirtschaftsdepartement des Kantons Solothurn, welches von der Staatskanzlei inzwischen als zuständig bezeichnet wurde, mit Verfügung vom 16. November 2010 ab. Daraufhin beschwerte sich der Club X._ beim Verwaltungsgericht des Kantons Solothurn. Dieses überwies die Angelegenheit zuständigkeitshalber an das kantonale Steuergericht, welches die Beschwerde mit Urteil vom 21. November 2011 abwies. C. Mit Eingabe vom 27. Februar 2012 führt der Club X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er stellt im Wesentlichen den Antrag, das Urteil des Steuergerichts sei aufzuheben und die zuständige Behörde der Stadt Solothurn sei anzuweisen, die in Rechnung gestellte Benutzungsgebühr neu festzulegen. Das Volkswirtschaftsdepartement des Kantons Solothurn schliesst auf Abweisung der Beschwerde. Die Stadt Solothurn und das Steuergericht des Kantons Solothurn stellen den Antrag, es sei die Beschwerde abzuweisen, soweit darauf überhaupt eingetreten werden könne. Mit Eingabe vom 14. Mai 2012 nimmt der Beschwerdeführer zum Vernehmlassungsergebnis Stellung. Mit Verfügung vom 1. März 2012 lehnte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichtes das Gesuch des Beschwerdeführers um aufschiebende Wirkung ab. 