Sachverhalt: A. Interieursuisse, der schweizerische Verband der Innendekorateure und des Möbelfachhandels (nachfolgend: interieursuisse), hat seinen Sitz in der Stadt Solothurn. Mit Leistungsvereinbarung vom 18. September 2010 wurde interieursuisse vom Kanton Solothurn damit beauftragt, die zur beruflichen Grundbildung zählenden überbetrieblichen Kurse für die Berufe Innendekorateur, Innendekorationsnäher, Wohntextilgestalter und Dekorationsnäher durchzuführen. An diesen Kursen im Ausbildungszentrum von interieursuisse in Selzach/SO beteiligten sich auch Lehrlinge des Dekorationsbetriebes von X._ in A._/VD. Nachdem es bezüglich der Bezahlung der Kursgelder zu Meinungsverschiedenheiten zwischen interieursuisse und X._ gekommen war, verpflichtete interieursuisse X._ mit Verfügung vom 18. August 2011 zur Bezahlung von Fr. 312.75 zuzüglich Zins zu 3.5 % seit dem 26. Juli 2011. B. Gegen diese Verfügung beschwerte sich X._ bei der Beschwerdekommission der Berufsbildung des Kantons Solothurn, wobei er deren Zuständigkeit für die Beurteilung des erhobenen Rechtsmittels bestritt und um entsprechende Feststellung der Unzuständigkeit ersuchte. Mit Zwischenentscheid vom 2./15. September 2011 erklärte sich die Beschwerdekommission indes für zuständig. Den Zwischenentscheid der Beschwerdekommission vom 2./15. September 2011 focht X._ beim Verwaltungsgericht des Kantons Solothurn an und beantragte im Wesentlichen die Feststellung, dass die Beschwerdekommission der Berufsbildung des Kantons Solothurn für die Behandlung der Beschwerde gegen die Verfügung von interieursuisse vom 18. August 2011 nicht zuständig sei; die Angelegenheit sei stattdessen an das "Département de la formation, de la jeunesse et de la culture" des Kantons Waadt, eventualiter an das Bundesamt für Berufsbildung und Technologie zu überweisen. Mit Urteil vom 10. September 2012 wies das Verwaltungsgericht die Beschwerde ab. Es führte im Wesentlichen aus, interieursuisse nehme mit der Durchführung der überbetrieblichen Kurse eine kantonale Aufgabe wahr und sei deswegen auch verfügungsbefugt, zumal die Verwaltungsbefugnis grundsätzlich eine entsprechende Verfügungsbefugnis miteinschliesse. Rechtsmittelbehörde für Verfügungen kantonaler Behörden und von Anbietern mit kantonalem Auftrag auf dem Gebiet der Berufsbildung sei im Kanton Solothurn die Beschwerdekommission der Berufsbildung, welche ihre Zuständigkeit somit zu Recht bejaht habe; auf den Wohnsitz der Lernenden komme es in diesem Zusammenhang nicht an. C. Mit Eingabe vom 19. Oktober 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Wie bereits bei der Vorinstanz stellt er im Wesentlichen den Antrag, es sei festzustellen, dass die Beschwerdekommission der Berufsbildung des Kantons Solothurn für die Behandlung der Beschwerde gegen die Verfügung von interieursuisse vom 18. August 2011 nicht zuständig ist; die Angelegenheit sei stattdessen an das "Département de la formation, de la jeunesse et de la culture " des Kantons Waadt, eventualiter an das Bundesamt für Berufsbildung und Technologie zu überweisen. Das Verwaltungsgericht und die Beschwerdekommission der Berufsbildung des Kantons Solothurn sowie interieursuisse schliessen auf Abweisung der Beschwerde. Mit Verfügung vom 6. Dezember 2012 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde teilweise aufschiebende Wirkung zu. 