Sachverhalt: A. A.a. G._ starb am 14. August 2007. Als gesetzliche Erben hinterliess er seine Schwester C._, seinen Bruder D._ sowie seine Nichten E._ und F._. A.b. Mit öffentlich beurkundeter letztwilliger Verfügung vom 23. Februar 2005 setzte der Erblasser A._ zu seinem Alleinerben ein. Für den Fall, dass dieser vor ihm sterben sollte, bestimmte der Erblasser dessen Lebenspartnerin B._ als Alleinerbin. Am 10. April 2007 verfasste der Erblasser eine eigenhändige letztwillige Verfügung, in der er alle vorherigen letztwilligen Verfügungen aufhob und seinen Nachlass zu einem Drittel A._ und B._ und zu je einem Drittel A.H._ und B.H._ vermachte. Am 11. April 2007 bestätigte der Erblasser bei der Gemeindeverwaltung Risch die Rücknahme der deponierten letztwilligen Verfügung vom 23. Februar 2005. Am 6. Juni 2007 wurde über den Erblasser eine Vormundschaft auf eigenes Begehren errichtet; zum Vormund wurde I._ ernannt. Vom 6. bis 19. Juni 2007 hielt sich der Erblasser im Zuger Kantonsspital auf. Mit eigenhändig verfasster letztwilliger Verfügung vom 14. Juni 2007 widerrief er alle vor diesem Datum errichteten Testamente. B. Am 8. Oktober 2008 reichten A._ und B._ eine Ungültigkeits- und Erbteilungsklage ein. Sie machten im Wesentlichen geltend, dass der Erblasser am 14. Juni 2007 nicht mehr urteils- und verfügungsfähig gewesen sei, weshalb die an diesem Tag errichtete letztwillige Verfügung für ungültig zu erklären sei. Mit Urteil vom 9. Mai 2012 wies das Kantonsgericht Zug die Klage vollumfänglich ab. Die dagegen erhobene Berufung hiess das Obergericht des Kantons Zug mit Urteil vom 3. Dezember 2013 im Kostenpunkt teilweise gut. In der Sache wies es die Berufung hingegen ab. C. Mit Beschwerde in Zivilsachen vom 27. Januar 2014 wenden sich A._ und B._ (Beschwerdeführer) an das Bundesgericht. Sie stellen das Begehren, das Urteil des Obergerichts aufzuheben und G._s Testament vom 14. Juni 2007 für ungültig zu erklären. Weiter sei ihnen zu Lasten des Nachlasses für ihre Aufwendungen ein Betrag von Fr. 84'200.-- zuzüglich Zins seit 8. Oktober 2008 zuzusprechen. Eventuell sei die Streitsache zur Abklärung des Sachverhalts und Neubeurteilung an das Obergericht des Kantons Zug zurückzuweisen. Das Bundesgericht hat die vorinstanzlichen Akten, aber keine Vernehmlassungen eingeholt. 