Sachverhalt: A. 2002 erwarben A.A._ und B.A._ das im Inventar der schützenswerten Denkmäler eingetragene Gasthaus Ochsen (im Folgenden: Ochsen) an der Hauptstrasse 2 in Oberägeri. Am 28. September 2010 stellte die Direktion des Innern des Kantons Zug den Ochsen als Baudenkmal von lokaler Bedeutung in Bezug auf den Standort des Gebäudes, seine äussere Erscheinung und die historische Baustruktur unter kantonalen Schutz. Am 15. Mai 2012 wies der Regierungsrat des Kantons Zug die Beschwerde von A.A._ und B.A._ gegen diese Unterschutzstellungsverfügung ab. Am 31. März 2014 wies das Verwaltungsgericht des Kantons Zug die Beschwerde von A.A._ und B.A._ gegen diesen Regierungsratsentscheid ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen A.A._ und B.A._, dieses Urteil des Verwaltungsgerichts und die mitangefochtenen, vorausgegangenen Unterschutzstellungsentscheide aufzuheben und von einer Unterschutzstellung des Ochsen abzusehen, unter Entlassung aus dem Inventar schützenswerter Denkmäler. Eventuell sei der Schutzumfang auf den Standort des Gebäudes zu beschränken, subeventuell die Sache zwecks weiterer Abklärung und neuem Entscheid ans Verwaltungsgericht oder eventuell den Regierungsrat zurückzuweisen. Zudem seien ihre Expertenkosten von 30'000 Franken zu ersetzen. C. Der Regierungsrat verzichtet auf Vernehmlassung. Die Gemeinde Oberägeri beantragt, die Beschwerde abzuweisen und das Urteil des Verwaltungsgerichts sowie die vorausgegangenen Entscheide der Direktion des Innern und des Regierungsrates zu bestätigen. Das Verwaltungsgericht beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. D. A.A._ und B.A._ halten in ihrer Replik an der Beschwerde fest. Die Gemeinde Oberägeri verzichtet auf weitere Stellungnahme. 