Sachverhalt: A. A.A._ und B.A._ haben das Amt für Mittelschulen des Kantons St. Gallen am 16. Januar 2013 darum ersucht, ihren Sohn C.A._ der Kantonsschule Ausserschwyz in Pfäffikon (Kanton Schwyz) zuzuweisen, statt derjenigen in Wattwil (Kanton St. Gallen), sofern er die Aufnahmeprüfung bestehe. Sie begründeten das Gesuch damit, dank der Nähe ihres Wohnorts zu Pfäffikon könne C.A._ täglich 80 Minuten Zeit sparen. Zudem sei er ein ambitionierter Tennisspieler und die Infrastruktur für das Training befinde sich im Raum Zürichsee. B. Mit Entscheid vom 17. April 2013 lehnte das Bildungsdepartement des Kantons St. Gallen das Gesuch der Eltern ab und wies C.A._, der die Aufnahmeprüfung inzwischen bestanden hatte, der Kantonsschule Wattwil zu. Es befand, die gesetzlichen Voraussetzungen für eine Zuweisung an die Kantonsschule Pfäffikon seien nicht erfüllt. Offenbar lagen insgesamt acht Gesuche um Zuweisung an die Kantonsschule Pfäffikon vor; das Departement befand, es wäre nicht mehr möglich, an der Kantonsschule Wattwil die Klassen mit Schwerpunktfach "Wirtschaft und Recht" zweckmässig zu führen, wenn diesen allen entsprochen würde. Gegen diesen Entscheid erhoben A.A._ und B.A._ am 3. Mai 2013 Beschwerde an das Verwaltungsgericht des Kantons St. Gallen. Dieses wies ihre Beschwerde am 2. Juli 2013 ab. C. A.A._ und B.A._ führen mit Eingabe vom 5. September 2013 beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragen, das Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 2. Juli 2013 sei aufzuheben und das Gesuch um Zuweisung ihres Sohnes an die Kantonsschule Ausserschwyz in Pfäffikon sei gutzuheissen. Das Verwaltungsgericht und das Bildungsdepartement des Kantons St. Gallen beantragen die Abweisung der Beschwerde. 