Sachverhalt: A. V._ hat am 11. September 2007 von seinem Grossvater, U._, zwei landwirtschaftliche Liegenschaften in A._/SZ gekauft. Am 7. Januar 2008 starb U._. Am 27. März 2008 ersuchte V._ das Amt für Landwirtschaft, Agrarmassnahmen und Bodenrecht des Kantons Schwyz (Landwirtschaftsamt) um die Feststellung, dass die beiden erwähnten Liegenschaften zusammen ein landwirtschaftliches Gewerbe bilden. Der Grund für diesen Antrag war eine noch immer andauernde erbrechtliche Auseinandersetzung im Zusammenhang mit dem Nachlass von U._, bei welcher die Bewertung der Liegenschaften massgeblich ist. Mit Verfügung vom 25. April 2008 stellte das Landwirtschaftsamt des Kantons Schwyz fest, dass die beiden Grundstücke wohl landwirtschaftliche Grundstücke seien, allerdings kein landwirtschaftliches Gewerbe bildeten. Es begründete dies im Wesentlichen damit, dass die für eine Anerkennung eines Gewerbes erforderliche Standardarbeitskraft (SAK) von 0.75 nicht erreicht werde; die entsprechende Berechnung ergebe vielmehr einen Wert von bloss 0.694 SAK. Gegen diese Verfügung beschwerte sich V._ ohne Erfolg beim Verwaltungsgericht des Kantons Schwyz; dieses wies die Beschwerde mit Urteil vom 27. Mai 2009 ab. Gegen das Urteil des Verwaltungsgerichts vom 27. Mai 2009 führte V._ Beschwerde beim Bundesgericht. Dieses hiess das Rechtsmittel mit Urteil 2C_450/2009 vom 10. Februar 2011 (BGE 137 II 182) gut, und es wies die Angelegenheit zur Neubeurteilung, insbesondere zur Neuberechnung des SAK-Wertes, an das Verwaltungsgericht des Kantons Schwyz zurück. B. Das Verwaltungsgericht liess in der Folge vom Landwirtschaftsamt eine Neuberechnung der erforderlichen Standardarbeitskraft vornehmen: Letzteres kam zum Schluss, dass bei Berücksichtigung der bundesgerichtlichen Vorgaben ein Arbeitskraftbedarf von 0.806 SAK resultiere, womit die Gewerbegrenze erreicht sei. Daraufhin hiess das Verwaltungsgericht die von V._ erhobene Beschwerde mit Urteil vom 21. Dezember 2011 gut und stellte fest, dass die fraglichen Grundstücke zusammen ein landwirtschaftliches Gewerbe bilden. C. Mit Eingabe vom 15. Februar 2012 führen vier weitere direkte Nachkommen des verstorbenen vormaligen Landeigentümers U._, nämlich X._, Y._, Z._ und W._, Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragen im Wesentlichen die Aufhebung des Urteils des Verwaltungsgerichts vom 21. Dezember 2011 sowie die Feststellung, dass die fraglichen Grundstücke zusammen kein landwirtschaftliches Gewerbe bilden. V._ sowie das Verwaltungsgericht des Kantons Schwyz schliessen auf Abweisung der Beschwerde. Das Bundesamt für Justiz hat auf eine Stellungnahme verzichtet. Mit Eingabe vom 9. Juli 2012 nahmen X._, Y._, Z._ und W._ zum Vernehmlassungsergebnis Stellung. 