Sachverhalt: A. X._ hatte bei der Gesundheitsdirektion des Kantons Zug (nachfolgend: Gesundheitsdirektion) um Einsicht in die Patientenakte ihrer verstorbenen Mutter ersucht. Mit Verfügung vom 30. Oktober 2012 trat die Gesundheitsdirektion auf das Begehren nicht ein, worauf X._ Beschwerde beim Regierungsrat einreichte. Die für die Durchführung des Beschwerdeverfahrens zuständige Sicherheitsdirektion des Kantons Zug (nachfolgend: Sicherheitsdirektion) setzte X._ am 7. Dezember 2012 eine Frist zur Bezahlung des Kostenvorschusses bis zum 4. Januar 2013. Am 17. Dezember 2012 ersuchte X._ um Kostenbefreiung gemäss § 25 Abs. 1 lit. a des Verwaltungsrechtspflegegesetzes des Kantons Zug vom 1. April 1976 (BGS 162.1; nachfolgend: VRG/ZG). Diese Bestimmung erlaubt die Herabsetzung oder den Erlass von Verfahrenskosten, wenn die Parteien an einer Streitsache nicht wirtschaftlich interessiert sind. Mit Schreiben vom 28. Dezember 2012 teilte die Sicherheitsdirektion X._ mit, ihr Antrag auf Kostenbefreiung sei entgegengenommen worden und der Regierungsrat werde darüber befinden. Ungeachtet von dessen Entscheid sei jedoch der Kostenvorschuss innert der angesetzten Frist zu bezahlen; im Fall einer Kostenbefreiung nach § 25 Abs. 1 lit. a VRG/ZG werde er zurückerstattet. Darüber hinaus wurde X._ auf die Möglichkeit der Einreichung eines Gesuchs um unentgeltliche Rechtspflege hingewiesen und ihr das entsprechende Formular zugesandt. Mit Eingabe vom 8. Januar 2013 bestritt X._ (weiterhin) die Rechtmässigkeit des Kostenvorschusses, worauf ihr die Sicherheitsdirektion dessen Zweck und die Folgen der Nichtbezahlung am 11. Januar 2013 nochmals schriftlich erläuterte. Gleichzeitig wurde die Frist zur Bezahlung des Kostenvorschusses bzw. zur Einreichung des ausgefüllten Gesuchsformulars bis zum 21. Januar 2013 erstreckt. Als nach Ablauf dieser Frist weder der Kostenvorschuss noch das Gesuch um unentgeltliche Rechtspflege eingegangen waren, schrieb die Sicherheitsdirektion das Beschwerdeverfahren am 31. Januar 2013 als erledigt ab. Für diesen Entscheid wurden keine Kosten erhoben. B. Gegen den Abschreibungsentscheid vom 31. Januar 2013 gelangte X._ an das Verwaltungsgericht des Kantons Zug (nachfolgend: Verwaltungsgericht). Dieses versandte am 12. April 2013 die Vernehmlassung der Sicherheitsdirektion vom 10. April 2013 per Einschreiben an X._. Die Zwischenverfügung des Verwaltungsgerichts vom 12. April 2013 enthielt folgenden Hinweis: "Im oben erwähnten Verfahren erhalten Sie ein Doppel der dem Gericht eingereichten Vernehmlassung zur Kenntnisnahme. Damit ist der Schriftenwechsel unter Vorbehalt allfälliger Beweisabnahmen abgeschlossen." Am 15. April 2013 wurde X._ die Zustellung der Zwischenverfügung vom 12. April 2013 ins Postfach avisiert. Sie nahm die Sendung am 22. April 2013 am Postschalter entgegen. Mit Urteil vom 30. April 2013 wies das Verwaltungsgericht die Beschwerde gegen den Abschreibungsentscheid vom 31. Januar 2013 ab. Der Versand des Urteils mittels Gerichtsurkunde erfolgte am 15. Mai 2013; X._ nahm das Urteil am 24. Mai 2013 am Postschalter in Empfang. C. X._ erhebt am 24. Juni 2013 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht und beantragt sinngemäss, das angefochtene Urteil aufzuheben. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Sicherheitsdirektion und die Gesundheitsdirektion verzichten ausdrücklich auf eine Stellungnahme. X._ lässt sich mit Bemerkungen vom 22. September 2013 vernehmen. 