Sachverhalt: A. Mit Verfügung vom 10. November 2010 widerrief das Migrationsamt des Kantons Zürich die EG/EFTA-Niederlassungsbewilligung von X._, einem 1972 geborenen, aus dem Libanon stammenden italienischen Staatsangehörigen, da dieser durch ein rechtskräftiges Strafurteil des Obergerichts des Kantons Zürich u.a. wegen mehrfacher Vergewaltigung und Widerhandlung gegen das Betäubungsmittelgesetz zu einer Freiheitsstrafe von viereinhalb Jahren verurteilt worden war. Das Migrationsamt ordnete in seiner Verfügung zudem an, X._ müsse sich sofort nach seiner Entlassung aus dem Strafvollzug aus der Schweiz entfernen, und es entzog einem allfälligen Rekurs die aufschiebende Wirkung. Der Betroffene, damals vertreten durch Rechtsanwalt Y._, rekurrierte gegen die Verfügung des Migrationsamtes am 14. Dezember 2010 bei der Sicherheitsdirektion des Kantons Zürich. Am 17. Januar 2011 teilte Rechtsanwalt Y._ der Sicherheitsdirektion mit, er habe das Mandat an Rechtsanwalt Peter Nideröst substituiert. Mit Entscheid vom 19. Januar 2011, welcher an Rechtsanwalt Nideröst zugestellt wurde, wies die Sicherheitsdirektion den Rekurs ab. B. Rechtsanwalt Nideröst ersuchte das Migrationsamt mit vorab gefaxten Eingaben vom 20. und 31. Januar 2011 um Aktenzustellung. Dieses sandte ihm am 31. Januar 2011 Kopien der act. 92-124 des Dossiers zu und wies darauf hin, die act. 1-90 seien bereits Rechtsanwalt Y._ zur Verfügung gestellt worden, von welchem sie bezogen werden könnten, ebenso die von diesem verfasste Rekurseingabe (act. 91). Mit vorab gefaxter Eingabe an das Migrationsamt vom 7. Februar 2011 bat Rechtsanwalt Nideröst erneut um vollständige Akteneinsicht, da Rechtsanwalt Y._ die Akten zwar eingesehen, aber nicht kopiert habe und ihm deshalb die fehlenden Akten nicht zur Verfügung stellen könne. Am 14. Februar 2011 teilte das Migrationsamt Rechtsanwalt Nideröst mit, die Akten befänden sich derzeit ausser Haus; es werde dem Akteneinsichtsgesuch aber so schnell wie möglich nachkommen. Am 28. Februar 2011 stellte das Migrationsamt Rechtsanwalt Nideröst die vollständigen Akten (act. 1-133) zur Einsicht zu. C. Am 23. Februar 2011 erhob Rechtsanwalt Nideröst namens von X._ gegen den Rekursentscheid der Sicherheitsdirektion vom 19. Januar 2011 Beschwerde beim Verwaltungsgericht des Kantons Zürich. Die Beschwerde enthielt den verfahrensrechtlichen Antrag, dem Beschwerdeführer sei eine angemessene Frist von mindestens 30 Tagen anzusetzen, um die Beschwerdebegründung zu vervollständigen, sowie eine "vorläufige Kurzbegründung" von rund drei Seiten, worin der Beschwerdeführer die Prozessgeschichte darlegte und ausführte, ohne Kenntnis der vollständigen Akten sei ihm eine sachgerechte Beschwerdebegründung nicht möglich. Mit Beschluss vom 9. März 2011 trat das Verwaltungsgericht auf die Beschwerde nicht ein, da sie keine genügende Begründung enthalte. D. Mit Eingabe vom 14. April 2011 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, die Sache sei an die Vorinstanz zurückzuweisen mit der Anweisung, auf die Beschwerde einzutreten und eine angemessene Nachfrist anzusetzen, um die Beschwerde beim Verwaltungsgericht zu begründen. Zudem beantragt er Erteilung der aufschiebenden Wirkung und der unentgeltlichen Rechtspflege. Das Migrationsamt des Kantons Zürich und das Bundesamt für Migration beantragen Abweisung der Beschwerde. Das Verwaltungsgericht verzichtet auf Vernehmlassung. Der Beschwerdeführer hat sich zu den Vernehmlassungen geäussert. Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 19. April 2011 wurde der Beschwerde aufschiebende Wirkung zuerkannt. 