Sachverhalt: A. A.a. Das Veterinäramt des Kantons Thurgau (nachfolgend: Veterinäramt) erliess am 23. Juli 2010 ein unbefristetes Tierhalteverbot bezogen auf alle Nutztiere gegen A._ sowie alle mit ihm im gleichen Haushalt wohnenden Personen mit Wirkung ab 31. August 2010 (Ziff. 10 des Verfügungsdispositivs). Ferner wurde festgehalten, die Gebäude und Einrichtungen der betreffenden Liegenschaften dürften nicht wieder zur Haltung von Tieren verwendet werden, ohne dass vorgängig eine Abnahme durch das Veterinäramt stattgefunden habe (Ziff. 13 des Verfügungsdispositivs). Das vom Beschwerdeführer angefochtene Tierhalteverbot wurde mit Urteil des Bundesgerichts 2C_635/2011 vom 11. März 2012 rechtskräftig. A.b. Am 4. Mai 2012 stellte das Veterinäramt fest, die Verfügung vom 23. Juli 2010 sei zu vollziehen, und setzte A._ eine Frist bis zum 30. Juni 2012, um seinen Nutztierbestand aufzulösen und seine Stallungen und Einrichtungen vollständig zu räumen (Ziff. 4 des Verfügungsdispositivs). Für den Fall, dass diese Frist ungenutzt verstreichen sollte, wurde die Ersatzvornahme auf den 10. Juli 2012 um 9 Uhr angesetzt. A._ habe diesfalls vor Ort zur Verfügung zu stehen; die Ersatzvornahme erfolge auf seine Kosten (Ziff. 5 des Verfügungsdispositivs). Wiederum wurde festgehalten, in den Gebäuden und Einrichtungen, welche A._ für seine Tierhaltung genutzt habe, dürften ohne vorgängige Abnahme durch das Veterinäramt keine Tiere mehr gehalten werden (Ziff. 3 des Verfügungsdispositivs). B. B.a. Gegen die Vollstreckungsverfügung vom 4. Mai 2012 rekurrierte A._ am 14. Mai 2012 mit dem Begehren, diese sei aufzuheben und ihm sei Frist zur Räumung seiner Stallungen und Einrichtungen zu gewähren, bis das Veterinäramt die Gebäude und Einrichtungen für die Tierhaltung abgenommen haben würde. Zur Begründung führte er an, er beabsichtige, seinen gesamten Viehbestand einem Nachfolger zu übergeben. Hierzu bedürfe es gemäss Ziff. 13 der Verfügung vom 23. Juli 2010 einer vorgängigen Abnahme durch das Veterinäramt, welche hiermit formell beantragt werde. B.b. Zudem ersuchte der Beschwerdeführer am 24. Mai 2012 das Veterinäramt, innert Frist eine Abnahme seiner Stallungen vorzunehmen. Er verfüge über einen rechtlichen Anspruch auf diese Amtshandlung, welche überdies für eine geordnete Betriebsübergabe erforderlich sei. Mit Schreiben vom 4. Juni 2012 teilte das Veterinäramt dem Beschwerdeführer mit, es gebe dem Antrag nicht statt, weil das Verfahren zur Zeit beim Regierungsrat hängig sei. Es könne deshalb vorläufig keine weiteren Schritte unternehmen. B.c. Der Regierungsrat des Kantons Thurgau (nachfolgend: Regierungsrat) trat am 3. Juli 2012 auf die Eingabe des Beschwerdeführers vom 14. Mai 2012 nicht ein, soweit sie die Räumungsandrohung, d.h. die Androhung der Ersatzvornahme betraf. Hingegen hob er das für die Ersatzvornahme vorgesehene Datum (10. Juli 2012) auf und räumte A._ eine Frist von fünf Tagen ein, um gegen den Entscheid des Veterinäramts vom 4. Mai 2012 Beschwerde erheben zu können. Die daraufhin von A._ erhobene Beschwerde vom 9. Juli 2012 wies der Regierungsrat am 6. August 2012 ab. Auf eine dagegen beim Bundesgericht eingereichte Beschwerde trat dieses nicht ein (vgl. Urteil 2C_781/2012 vom 21. August 2012), worauf das Verwaltungsgericht des Kantons Thurgau (nachfolgend: Verwaltungsgericht) den Regierungsratsentscheid am 19. Dezember 2012 bestätigte. C. A._ erhebt am 25. Februar 2013 Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde beim Bundesgericht mit den Anträgen, der angefochtene Entscheid sei aufzuheben und auf die angedrohte Ersatzvornahme sei zu verzichten; eventuell sei die Sache zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, ebenso das Veterinäramt. Der Regierungsrat beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Bundesamt für Veterinärwesen (BVET) hat sich vernehmen lassen, jedoch explizit auf einen Antrag verzichtet. Mit Replik vom 11. Juni 2013 hält A._ an seinen Rechtsbegehren fest. 