Sachverhalt: A. S._ betreibt unter dem Namen "Firma X._" ein Büro für Baurechtsfragen. Seit 1. November 2000 ist er als Selbstständigerwerbender der Ausgleichskasse des Kantons Zürich angeschlossen. In den Jahren 2004 und 2005 leistete er für die Bauabteilung der Gemeinde Y._ Arbeit zu einem Stundenansatz von Fr. 150.-, insgesamt für Fr. 11'731.- (2004) bzw. Fr. 63'839.- (2005). Nach Durchführung einer Arbeitgeberkontrolle am 27. August 2007 forderte die Ausgleichskasse mit Nachzahlungsverfügungen vom 6. November 2007 von der Gemeinde Y._ paritätische Beiträge von Fr. 1'267.85 (für 2004) bzw. Fr. 6'931.90 (für 2005). Die Verfügung erging auch an S._, der dagegen Einsprache erhob, welche die Ausgleichskasse am 26. Februar 2008 abwies. B. S._ erhob dagegen Beschwerde an das Sozialversicherungsgericht des Kantons Zürich mit dem Antrag, es sei vom Vorliegen einer selbstständigen Erwerbstätigkeit bei der Gemeinde Y._ auszugehen. Das Gericht wies die Beschwerde am 29. Oktober 2009 ab. C. C.a S._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das angefochtene Urteil und die Nachzahlungsverfügungen bzw. der Einspracheentscheid seien aufzuheben. Die Gemeinde Y._ beantragt die Gutheissung der Beschwerde, während die Ausgleichskasse, das kantonale Gericht und das Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichten. C.b Mit Verfügung vom 4. März 2010 holte der Instruktionsrichter von den Parteien weitere Unterlagen ein, die am 16. März und 9. April 2010 eingereicht wurden. 