Sachverhalt: A. H._ liess am 28. Januar 2010 gegen eine den Anspruch auf eine Invalidenrente verneinende Verfügung der IV-Stelle des Kantons Zürich vom 22. Dezember 2009 beim Sozialversicherungsgericht des Kantons Zürich Beschwerde erheben, wobei der Eingabe keine Vollmacht beigelegt war. Das Sozialversicherungsgericht setzte ihm bzw. seiner Vertretung mit Verfügung vom 2. Februar 2010 u.a. eine Frist von 10 Tagen an, um dem Gericht die Vollmacht einzureichen, ansonsten auf die Beschwerde nicht eingetreten werde. Nachdem die Vollmacht dem Gericht nicht eingereicht worden war, trat das Sozialversicherungsgericht androhungsgemäss auf die Beschwerde nicht ein (Beschluss vom 10. März 2010). B. Mit Eingabe vom 14. April 2010 lässt H._ beim Bundesgericht Beschwerde führen und beantragen, der angefochtene Beschluss vom 10. März 2010 sei aufzuheben und der Sachverhalt sei "entsprechend (der) Beschwerde vom 28.1.2010 erneut" zu prüfen. Die Vorinstanz schliesst im Falle des bei der IV-Stelle innert Frist erfolgten Eingangs einer gültigen Vollmacht auf Gutheissung der Beschwerde. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 