Sachverhalt: A. Die X._ AG, A._/FL, betreibt in B._ eine Fischfarm (mit Zuchtanlage und Aussenteichen). Im Jahre 2009 wurde über die Zweigniederlassung der Konkurs eröffnet. Am 5. August 2011 wurde die Fischfarm aus der konkursrechtlichen Beschlagnahme entlassen, worauf die X._ AG wieder Muttertiere in die Fischfarm einbringen wollte. Mit Verfügung vom 17. August 2011 untersagte ihr das Amt für Verbraucherschutz und Veterinärwesen des Kantons St. Gallen vorsorglich, Fische (Z._) in die Fischzuchtanlage der Fischfarm einzubringen, weil sie nicht über die hierfür erforderliche Bewilligung zur Wildtierhaltung verfüge und zudem den Nachweis für eine zulässige Methode zur Betäubung und Tötung der Fische nicht erbracht habe. In der Verfügung wurde überdies angeordnet, dass für den Fall der Nichtbeachtung des Verbots die Fische mit polizeilicher Hilfe auf dem Weg der Ersatzvornahme unter Kostenfolge zu Lasten der Betreiberin der Fischzuchtanlage beseitigt würden. Die gegen diese Verfügung erhobenen Rechtsmittel wurden abgewiesen, letztinstanzlich mit Urteil des Bundesgerichts 2C_985/2011 vom 24. Januar 2012. B. Im Nachgang zur Verfügung vom 17. August 2011 nahm das Amt für Verbraucherschutz und Veterinärwesen verschiedentlich Kontrollen in der Fischfarm vor. Anlässlich einer Kontrolle vom 4. November 2011 wurden mehrere erwachsene Fische sowie mehrere Hundert Brütlinge im Betriebsgebäude der Fischfarm festgestellt. Daraufhin teilte der Kantonstierarzt der X._ AG mit Schreiben vom gleichen Datum mit, aufgrund der immer noch fehlenden Bewilligung zur Wildtierhaltung seien die Fische zu beseitigen. Sofern dies bis Mittwoch 9. November 2011, 12 Uhr, nicht erfolgt sei, würden sämtliche auf dem Betriebsareal befindlichen Fische beschlagnahmt und in geeigneter Form getötet. Dagegen erhoben die X._ AG und Y._ Rekurs beim Bildungsdepartement des Kantons St. Gallen und ersuchten gleichzeitig um Erlass eines superprovisorischen Verbots einer Ersatzvornahme. Mit Entscheid vom 9. November 2011 trat das Bildungsdepartement auf den Rekurs nicht ein und wies das Gesuch um Erlass einer vorsorglichen Massnahme ab. Am 10. November 2011 wurde die Ersatzvornahme in dem Sinn durchgeführt, als die in der Fischzuchtanlage vorgefundenen sechs Fische (Z._) mitsamt Brütlingen beseitigt wurden; nichts unternommen wurde hinsichtlich der in den Aussenteichen angesiedelten Fische. Mit Entscheid vom 29. November 2011 trat das Verwaltungsgericht des Kantons St. Gallen auf die Beschwerde der X._ AG und von Y._ gegen den Entscheid des Bildungsdepartementes nicht ein und wies das Gesuch um Erlass einer superprovisorischen Verfügung mit Hinweis auf die am 10. November 2011 durchgeführte Ersatzvornahme ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 29. Dezember 2011 beantragen die X._ AG und Y._, den Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 29. November 2011 sowie das Schreiben des Amtes für Verbraucherschutz und Veterinärwesen vom 4. November 2011 betreffend Ersatzvornahme unter Kosten- und Entschädigungsfolge, soweit Verfügungen oder andere rechtswirksame Massnahmen beinhaltend, vollumfänglich aufzuheben. Zudem stellen sie den Antrag, es sei dem Amt für Verbraucherschutz und Veterinärwesen provisorisch und superprovisorisch zu verbieten, gestützt auf das angefochtene Schreiben vom 4. November 2011 irgendwelche Massnahmen, insbesondere Massnahmen der Ersatzvornahme auf der Z._ Fischfarm vorzunehmen. Das Amt für Verbraucherschutz und Veterinärwesen des Kantons St. Gallen, das Bildungsdepartement des Kantons St. Gallen und das Verwaltungsgericht des Kantons St. Gallen beantragen die Abweisung der Beschwerde, soweit darauf einzutreten sei. D. Mit Verfügung vom 30. Januar 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts das Gesuch um vorsorgliche Massnahmen bzw. aufschiebende Wirkung abgewiesen. Mit Eingabe vom 9. Februar 2012 nehmen die X._ AG und Y._ zu den Eingaben des Amtes für Verbraucherschutz und Veterinärwesen sowie des Verwaltungsgerichts Stellung. 