Sachverhalt: A. A.a. X._ (geb. 1994) ist der eheliche Sohn von A._ und B._. Mit Beschluss vom 20. August 2005 errichtete der Gemeinderat Y._ für ihn eine Beistandschaft nach Art. 308 Abs. 1 und 2 ZGB. A.b. Mit Verfügung vom 26. Juli 2010 sprach die IV-Stelle des Kantons Zug X._ rückwirkend ab 1. November 2002 eine Invalidenkinderrente (Zusatzrente zur Rente der Mutter) zu. Am 19. Mai 2011 wurde die Ehe von A._ und B._ geschieden; X._ wurde unter die elterliche Sorge und Obhut des Vaters gestellt. Dieser bezog während einer gewissen Zeit für sich bzw. für die Familie Sozialhilfe von der Gemeinde. A.c. Mit Beschluss vom 25. Oktober 2011 entzog der Gemeinderat Y._ dem Kindsvater die Verwaltung des Kindesvermögens und erweiterte dementsprechend die bestehende Beistandschaft nach Art. 308 Abs. 1 und 2 ZGB um eine Beistandschaft nach Art. 325 ZGB (Verwaltung des Kindesvermögens). Der Gemeinderat beauftragte die mit der Beistandschaft befasste Z._ damit, das aufgrund der Zahlungen der Ausgleichskasse Zug in Zusammenhang mit rückwirkenden Leistungen zugunsten von X._ entstehende Kindesvermögen bis zur Volljährigkeit des Verbeiständeten zu verwalten, wobei die Erträgnisse des Kindesvermögens im Umfang des väterlichen Anspruchs gemäss Art. 319 Abs. 1 ZGB dem Kindsvater überlassen wurden. B. B.a. Mit Beschluss vom 1. Oktober 2012 hob der Gemeinderat Y._ die gestützt auf Art. 308 Abs. 1 und 2 ZGB sowie Art. 325 ZGB errichtete Beistandschaft (infolge Eintritts der Volljährigkeit des Verbeiständeten) auf, genehmigte den Schlussbericht und die Schlussrechnung der Beiständin Z._ und entliess diese aus dem Amt. B.b. Gegen diesen Beschluss erhob X._ Beschwerde, die das Verwaltungsgericht des Kantons Zug mit Urteil vom 16. Mai 2013 abwies. C. Gegen dieses Urteil hat X._ am 1. Juli 2013 (Postaufgabe) beim Bundesgericht Beschwerde in Zivilsachen erhoben. Er beantragt, das angefochtene Urteil aufzuheben und die Beiständin anzuweisen, einen Schlussbericht zu erstellen, der den Tatsachen entspreche und eine Schlussrechnung zu verfassen, aus der das Vermögen des Beschwerdeführers ersichtlich sei. D. Mit Verfügung vom 4. Juli 2013 wurde das Gesuch des Beschwerdeführers um aufschiebende Wirkung abgewiesen. Es sind keine Vernehmlassungen eingeholt worden. 