Sachverhalt: A. Der Schweizer Bürger X._ ersuchte im Januar 2009 bei der Kantonspolizei Aargau, Fachstelle SIWAS (Sicherheitsdienste, Waffen, Sprengmittel), um Erteilung eines Europäischen Feuerwaffenpasses, wobei er weisungsgemäss einen aktuellen Strafregisterauszug vorlegte. Die SIWAS wies das Gesuch ab. Gleichzeitig verfügte sie die Beschlagnahme der Schusswaffen samt Zubehör und Munition, die sich im Besitz von X._ befanden. Zur Begründung gab sie an, X._ weise zwei Einträge im Strafregister auf. Zum einen sei er im Jahr 2007 wegen der Nichtabgabe von Ausweisen oder Kontrollschildern zu einer Geldstrafe von zehn Tagessätzen und zum anderen im Jahr 2008 wegen Führens eines nicht betriebssicheren Fahrzeugs, Fahrens ohne Haftpflichtversicherung sowie erneut wegen Nichtabgabe von Ausweisen oder Kontrollschildern zu einer Geldstrafe von dreissig Tagessätzen verurteilt worden. Namentlich unter Hinweis darauf, dass es sich bei den beschlagnahmten Waffen um solche handle, die ohne Waffenerwerbsschein erworben werden können, und er seit vielen Jahren Jäger sei, gelangte X._ gegen den Entscheid der Kantonspolizei an den Regierungsrat und anschliessend an das Verwaltungsgericht des Kantons Aargau. Diese wiesen seine Rechtsmittel ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 11. Februar 2011 beantragt X._ dem Bundesgericht, den in dieser Sache zuletzt ergangenen Entscheid des Verwaltungsgerichts des Kantons Aargau vom 29. November 2010 aufzuheben, ihm den Europäischen Feuerwaffenpass zu bewilligen, die erfolgte Beschlagnahme für unrechtmässig zu erklären und sämtliche am 5. Mai 2009 bei ihm beschlagnahmten Gegenstände zurückzugeben. Eventualiter sei die Angelegenheit zur Neubeurteilung zurückzuweisen. Die Fachstelle SIWAS der Kantonspolizei sowie das Verwaltungsgericht haben auf eine Vernehmlassung verzichtet und auch keinen Antrag gestellt. Der Regierungsrat hat sich nicht geäussert. Das Bundesamt für Polizei (fedpol) hat für das ebenfalls zur Vernehmlassung eingeladene Eidgenössische Justiz- und Polizeidepartement eine Stellungnahme eingereicht, ohne einen Antrag zu stellen. 