Sachverhalt: A. Dr. med. dent. Tankred Warnke betreibt am Bahnhofplatz in Zug eine Zahnarztpraxis, welche er als "Zahnklinik" bezeichnet. Mit Verfügung vom 27. Februar 2007 untersagte ihm die Gesundheitsdirektion des Kantons Zug, für die Bezeichnung seiner Praxis den Begriff "Klinik" zu verwenden, und setzte ihm eine 30-tägige Frist, um sämtliche diesbezügliche Hinweise - u.a. im Handelsregister und auf dem Aushängeschild - zu beseitigen. Zur Begründung wurde im Wesentlichen angeführt, dass Arzt- und Zahnarztpraxen nach den massgeblichen Bestimmungen des zugerischen Rechts unter dem Namen der betreffenden Medizinalperson zu führen seien und die Bezeichnung "Klinik" allein stationären Institutionen vorbehalten sei. Eine von Tankred Warnke dagegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, mit Urteil vom 1. April 2008 ab (Ziff. 1 des Dispositivs), wobei es die Gerichtskosten dem Beschwerdeführer auferlegte (Ziff. 2 des Dispositivs); eine Parteientschädigung sprach es nicht zu (Ziff. 3 des Dispositivs). B. Mit Eingabe vom 12. Mai 2008 erhebt Tankred Warnke beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, die Ziffern 1, 2 und 3 des Dispositivs des verwaltungsgerichtlichen Entscheids aufzuheben bzw. eventualiter diese Ziffern "zu kassieren" und den Fall zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Im Weiteren ersucht er darum, ihm "für alle Instanzen bis zum Bundesgericht eine angemessene Parteientschädigung" zuzusprechen bzw. die "Verfahrenskosten aller Instanzen" der Gesundheitsdirektion des Kantons Zug aufzuerlegen. Das Verwaltungsgericht und die Gesundheitsdirektion des Kantons Zug schliessen auf Abweisung der Beschwerde. 