Sachverhalt: A. Mit Vorbescheid vom 21. August 2007 teilte die IV-Stelle des Kantons Zürich Y._ (geb. 1962) mit, dass er ab 1. April 2002 Anspruch auf eine ganze und mit Wirkung ab 1. Oktober 2006 auf eine halbe Invalidenrente habe. Dies bestätigte sie mit Verfügung vom 6. Februar 2008, wobei Verfügungsteil 1 nur die Leistungen ab 1. Januar 2008 betraf. B. Hiegegen erhob Y._ Beschwerde beim Sozialversicherungsgericht des Kantons Zürich mit dem Antrag, die Verfügung vom 6. Februar 2008 sei aufzuheben und die Sache an die IV-Stelle zurückzuweisen, damit diese über den Rentenanspruch neu entscheide; eventualiter sei ihm mit Wirkung ab 1. April 2002 eine ganze Rente und ab 1. Oktober 2006 eine Dreiviertelsrente zuzusprechen. Überdies ersuchte er für das Beschwerdeverfahren um unentgeltliche Rechtsverbeiständung. Nachdem die IV-Stelle dem Versicherten auch noch die Verfügungen vom 10. März 2008 betreffend die Zeit vom 1. April bis 31. Dezember 2007 zugestellt hatte, teilte dessen Rechtsvertreter dem kantonalen Gericht mit Schreiben vom 14. März 2008 mit, der Eventualantrag werde damit teilweise gegenstandslos. Soweit eine ganze Rente zugesprochen worden sei, würden die Verfügungen nicht angefochten. Gemäss einer Telefonnotiz vom 3. August 2009 wies der Gerichtsschreiber des Sozialversicherungsgerichts den Rechtsvertreter hinsichtlich der für die Zeit vom 1. April 2002 bis 30. September 2006 zugesprochenen ganzen Rente auf eine drohende reformatio in peius hin und gab ihm Gelegenheit, die Beschwerde zurückzuziehen. Am 26. November 2009 liess Y._ die Beschwerde zurückziehen. Mit Verfügung vom 2. Dezember 2009 schrieb die Ersatzrichterin als Referentin die Beschwerde ab (Dispositiv-Ziffer 1). Das Gesuch um unentgeltliche Rechtsverbeiständung wies sie ab (Dispositiv-Ziffer 2). Zudem auferlegte sie dem Beschwerdeführer die Gerichtskosten von Fr. 200.- (Dispositiv-Ziffer 3). C. Y._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, Ziffer 2 und 3 der Verfügung vom 2. Dezember 2009 seien aufzuheben. Das im Verfahren vor dem Sozialversicherungsgericht des Kantons Zürich gestellte Gesuch um unentgeltliche Rechtsverbeiständung sei gutzuheissen, und dieses sei zu verpflichten, die unentgeltliche Rechtsvertretung zu gewähren und von der Auferlegung von Gerichtskosten abzusehen. Eventuell sei die Sache an das kantonale Gericht zurückzuweisen, damit dieses in einem Kollegialentscheid neu darüber befinde. Zudem wird um unentgeltliche Rechtspflege und Rechtsverbeiständung für das letztinstanzliche Verfahren ersucht. Die Referentin des Sozialversicherungsgerichts schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 