Sachverhalt: A. Der 1964 geborene H._ verletzte sich am 18. Februar 2006 bei einem Unfall an der rechten Schulter. Die Schweizerische Unfallversicherungsanstalt (SUVA) als zuständiger obligatorischer Unfallversicherer gewährte Heilbehandlung und richtete, zeitweise direkt an den Versicherten, Taggeld aus. In der Folge erhielt die SUVA Kenntnis davon, dass H._ früher, als ihr angegeben, wieder in einem den Anspruch auf Taggeld ausschliessenden Umfang arbeitstätig gewesen war. Sie kam zum Ergebnis, der Versicherte habe demnach ab Mai 2006 unrechtmässig Taggeld von insgesamt Fr. 11'933.40 bezogen. Dieses Taggeld habe er ihr zurückzuerstatten. Anlässlich einer Besprechung vom 7. Dezember 2006 anerkannte H._ diese Rückforderung der SUVA, was er unterschriftlich bestätigte. Nachdem H._ finanzielle Probleme geltend gemacht hatte, teilte ihm der Versicherer mit Schreiben vom 17. Januar 2007 mit, er solle Akontozahlungen nach seinen finanziellen Möglichkeiten leisten. H._ bezahlte in der Folge lediglich gesamthaft Fr. 1'100.- ab. Dies veranlasste die SUVA, mit Verfügung vom 30. April 2010 die Rückerstattung der restlichen Fr. 10'833.40 zu verlangen. H._ reichte in der Folge zwei Eingaben vom 21. Mai und 9. Juni 2010 ein. Die SUVA betrachtete diese als Gesuch um Erlass der Rückforderung, welches sie mit Verfügung vom 9. Juli 2010 abwies. B. Mit Eingabe vom 1. September 2010 erhob H._ Beschwerde mit dem - replicando präzisierten - Antrag, die Verfügungen vom 30. April und 9. Juli 2010 seien aufzuheben. Das Verwaltungsgericht des Kantons Zug gewährte ihm die unentgeltliche Verbeiständung. Mit Entscheid vom 17. März 2011 trat es auf die Beschwerde nicht ein und überwies die Eingabe vom 1. September 2010 als Einsprache gegen die Erlassverfügung vom 9. Juli 2010 an die SUVA (Dispositiv Ziff. 1). Es erhob keine Kosten (Dispositiv Ziff. 1), verneinte einen Anspruch auf Parteientschädigung und sprach der unentgeltlichen Rechtsbeiständin eine Entschädigung zu (Dispositiv Ziff. 3). C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, Dispositiv Ziff. 1 des vorinstanzlichen Entscheid und die beiden SUVA-Verfügungen seien aufzuheben; evtl. sei Dispositiv Ziff. 1 des vorinstanzlichen Entscheids aufzuheben und die Sache zur Neubeurteilung an das kantonale Gericht zurückzuweisen. Die SUVA schliesst auf Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung. D. Mit Verfügung vom 7. Juni 2011 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt. 