Sachverhalt: A. Mit Beschluss vom 18. August 1998 hat der Regierungsrat des Kantons Schwyz Dr. med. et med. dent. X._, geb. 1955, die Bewilligung zur selbständigen Berufsausübung als Arzt und Zahnarzt erteilt. Infolge verschiedener Reklamationen beim damaligen Kantonszahnarzt Dr. D._ bzw. dem Amt für Gesundheit und Soziales des Kantons Schwyz eröffnete dieses am 12. Februar 2009 ein Verwaltungsverfahren zur Prüfung allfälliger Verwaltungsmassnahmen gegen X._. Der Kantonszahnarzt trat am 27. Oktober 2009 in den Ausstand. Am 19. August 2010 reichte der vom Amt für Gesundheit und Soziales des Kantons Schwyz beauftragte Sachverständige Prof. Dr. med. dent. et Dr. med. E._, Facharzt für Kiefer- und Gesichtschirurgie und Fachzahnarzt für Oralchirurgie, Universität Y._, ein Gutachten ein. Am 22. Oktober 2010 nahm X._ zum Gutachten Stellung. Mit Schreiben vom 9. Dezember 2010 hat das Amt für Gesundheit und Soziales des Kantons Schwyz X._ ein Vergleichsverfahren vorgeschlagen, wobei dieser mit Schreiben vom 30. Mai 2011 eine vergleichsweise Lösung ablehnte. B. B.a. Mit Verfügung vom 22. Juli 2011 ordnete das Amt für Gesundheit und Soziales des Kantons Schwyz gegenüber X._ ein definitives Verbot der selbständigen Berufsausübung für die Tätigkeiten als Arzt und Zahnarzt an. Die mit der Verfügung entzogene aufschiebende Wirkung einer allfälligen Beschwerde hat der Regierungsrat des Kantons Schwyz mit Beschluss vom 23. August 2011 wiederhergestellt. Am 20. Dezember 2011 hiess der Regierungsrat die Beschwerde insofern gut, als das unbefristete Berufsausübungsverbot auf fünf Jahre befristet wurde. Im Übrigen wies er die Beschwerde ab. B.b. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz am 17. April 2013 ab. Gestützt auf das Gutachten von Prof. D._ sowie die weiteren medizinischen Berichte erwog das Verwaltungsgericht, der Beschwerdeführer habe in mehreren Fällen die nötige Sorgfalt und Gewissenhaftigkeit gemäss Art. 40 lit. a des Bundesgesetzes vom 23. Juni 2006 über die universitären Medizinalberufe (Medizinalberufegesetz, MedBG; SR 811.11) nicht beachtet und damit seine Berufspflichten verletzt. Auch biete der Beschwerdeführer keine Gewähr für ein integres persönliches Verhalten bei der Berufsausübung. Es rechtfertige sich ein auf fünf Jahre befristetes Verbot der selbständigen Berufsausübung. C. Vor Bundesgericht beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 17. April 2013 aufzuheben, eventualiter die Sache an die Vorinstanz zurückzuweisen und ein Obergutachten zu erstellen, subeventualiter den Beschwerdeführer mit einem Verweis zu belegen, subsubeventualiter das Verbot auf die Tätigkeit als Zahnarzt zu beschränken. Das Verwaltungsgericht des Kantons Schwyz, der Regierungsrat des Kantons Schwyz und das Amt für Gesundheit und Soziales des Kantons Schwyz beantragen die Abweisung der Beschwerde. Das Eidgenössische Departement des Innern verzichtet auf eine Stellungnahme. Mit Replik vom 16. August 2013 hält der Beschwerdeführer an seinen Anträgen fest. D. Am 19. Juni 2013 hat der Abteilungspräsident der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt. 