Sachverhalt: A. Am 17. Januar 2007 verfügte die Zuger Polizei gegen den in Zug wohnhaften Schweizer Staatsbürger X._ (geb. 1982) die Beschlagnahmung sämtlicher Waffen und Munition in seiner Wohnung und in seinem Hobbyraum. Gemäss Sicherstellungsprotokoll wurden je eine Pistole der Typen Tanfoglio Giuseppe, Colt Commander, Pietro Beretta, SIG Pro und SIG Sauer Pro sowie eine Maschinenpistole ARS und je ein Gewehr der Fabrikate Kalaschnikow und Saiga Izhmash sowie diverse Magazine und mehrere Tausend Schuss Munition beschlagnahmt. Gegen diese Massnahme erhob X._ Einsprache. Am 3. April 2007 wies die Zuger Polizei die Einsprache ab und verfügte gleichzeitig, dass die Waffen samt Munition eingezogen werden. Zur Begründung führte die Polizei aus, es gehe aus dem Strafregister hervor, dass X._ zwei Einträge habe. Zum einen sei er im Jahr 2004 wegen grober Verletzung der Verkehrsregeln und Fahrens in angetrunkenem Zustand zu 75 Tagen Gefängnis (bedingt, mit einer Probezeit von drei Jahren) und zum anderen im Jahre 2006 wegen Fahrens in fahrunfähigem Zustand, Fahrens ohne Führerausweis oder trotz Entzugs sowie wegen Missbrauchs von Ausweisen und Schildern zu zwei Monaten Gefängnis verurteilt worden. Die dagegen gerichtete Verwaltungsbeschwerde wies der Regierungsrat des Kantons Zug am 19. August 2008 ab. Er beschloss, dass nach Rechtskraft seines Entscheides die Kalaschnikow, die Maschinenpistole sowie die gesamte Munition zu vernichten seien und X._ mit dem effektiven Wert derselben zu entschädigen sei. Die übrigen sechs Waffen und die Magazine seien durch die Polizei zu verwerten, wobei X._ der entsprechende Erlös herauszugeben sei. Die sichergestellten Quittungen seien X._ auf Verlangen hin herauszugeben. Diesen Beschluss bestätigte das Verwaltungsgericht des Kantons Zug auf das von X._ erhobene Rechtsmittel hin. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 18. Februar 2009 beantragt X._ dem Bundesgericht, das am 29. Dezember 2008 ergangene Urteil des Verwaltungsgerichts sowie den Beschluss des Regierungsrates vom 19. August 2008 aufzuheben. Ihm seien sämtliche sichergestellten und beschlagnahmten Waffen, Waffenbestandteile und die Munition sowie zugehörige Quittungen und Waffenerwerbsscheine auszuhändigen. C. Der Regierungsrat hat sich nicht vernehmen lassen. Das Verwaltungsgericht ersucht um Abweisung der Beschwerde, soweit darauf einzutreten sei. Ohne einen ausdrücklichen Antrag zu stellen, hält die Zuger Polizei an ihren Ausführungen im Einspracheentscheid vom 3. April 2007 fest. Das Eidgenössische Justiz- und Polizeidepartement hat sich am 19. Mai 2009 geäussert, jedoch ebenfalls keinen Antrag gestellt. D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde am 26. März 2009 in dem Sinne antragsgemäss aufschiebende Wirkung zuerkannt, als dass die sichergestellten Gegenstände nicht vor dem Entscheid des Bundesgerichts verwertet oder vernichtet werden dürfen. 