Sachverhalt: A. A.a X._ (xxxx 1975) leidet seit Jahren an einer chronischen Schizophrenie, weswegen er im Zeitraum von 2003 bis heute insgesamt 11 Mal in der psychiatrischen Klinik A._ untergebracht war. In den Jahren 2006 und 2007 verbrachte er längere Zeit in der psychiatrischen Klinik B._. Im Weiteren leidet er an einer lebensbedrohlichen Blutgerinnungsstörung. Am 31. Dezember 2009 trat er freiwillig in die psychiatrische Klinik C._ ein, die er bereits einige Tage später wieder verlassen wollte. Die Klinik ordnete daher am 6. Januar 2010 die Zurückbehaltung X._s im Rahmen einer fürsorgerischen Freiheitsentziehung an. Das Verwaltungsgericht des Kantons Zug wies eine dagegen eingereichte Beschwerde am 21. Januar 2010 ab. Eine gegen dessen Urteil beim Bundesgericht erhobene Beschwerde in Zivilsachen blieb erfolglos (Urteil 5A_103/2010 vom 19. Februar 2010). A.b Am 10. März 2010 bestätigte der Gemeinderat R._ die fürsorgerische Freiheitsentziehung und wies X._ in die Therapeutische Wohngruppe D._ ein. Am 25. Januar 2011 ersuchte X._ um Entlassung aus dieser Einrichtung, die ihm der Gemeinderat mit Beschluss vom 27. April 2011 verweigerte. B. X._ gelangte dagegen mit Beschwerde vom 9. Mai 2011 an das Verwaltungsgericht des Kantons Zug. Die angerufene gerichtliche Instanz holte ein Gutachten ein, welches am 24. Mai 2011 erstattet wurde. Ferner bewilligte sie X._ am 26. Mai 2011 einen unentgeltlichen Rechtsbeistand und hörte den von der fürsorgerischen Freiheitsentziehung Betroffenen in Gegenwart seines Rechtsbeistands an. Mit Urteil vom 1. Juni 2011 wies das Verwaltungsgericht die Beschwerde X._s ab und setzte die Entschädigung des unentgeltlichen Rechtsbeistandes auf Fr. 2'736.50 fest. C. X._ hat gegen das am 3. Juni 2011 versendete Urteil des Verwaltungsgerichts mit Eingabe vom 4. Juli 2011 (Postaufgabe) beim Bundesgericht Beschwerde in Zivilsachen erhoben. Er beantragt, die fürsorgerische Freiheitsentziehung aufzuheben und ihn aus der Therapeutischen Wohngruppe D._ zu entlassen. Ferner stellt er den Antrag, es sei ihm für das vorinstanzliche Verfahren eine Parteientschädigung von Fr. 5'222.70 zulasten des Gemeinderates R._ zu bezahlen. Eventualiter sei seinem Anwalt für das vorinstanzliche Verfahren eine Parteientschädigung von Fr. 5'222.70 auszurichten. Das Verwaltungsgericht schliesst in seiner Vernehmlassung vom 8. Juli 2011 (Postaufgabe) auf Abweisung der Beschwerde. Der Beschwerdeführer liess dem Bundesgericht am 6. und 8. Juli 2011 weitere Eingaben zukommen. Am 14. Juli 2011 (Postaufgabe) hat er zur Vernehmlassung des Verwaltungsgerichts Stellung genommen. 