Sachverhalt: A.a Der Schweizerische Baumeisterverband (SBV), die GBI Gewerkschaft Bau & Industrie (heute: Unia) sowie die Gewerkschaft SYNA schlossen am 12. November 2002 einen Gesamtarbeitsvertrag für den flexiblen Altersrücktritt im Bauhauptgewerbe (GAV FAR), mit dessen Vollzug die Stiftung für den flexiblen Altersrücktritt im Bauhauptgewerbe (Stiftung FAR) betraut ist. Durch Beschluss des Bundesrates vom 5. Juni 2003 wurde der GAV FAR teilweise allgemeinverbindlich erklärt. A.b Im Oktober 2008 reichte der 1949 geborene Z._ bei der Stiftung FAR ein Gesuch um Ausrichtung einer Überbrückungsrente ab dem 1. Mai 2009 ein. Mit Schreiben vom 6. Februar 2009 verneinte die Stiftung FAR den Anspruch mit der Begründung, bei der Firma X._, bei der Z._ von November 1995 bis Februar 2004 beschäftigt war, habe es sich um einen Betonbohr- und Betonfräsebetrieb gehandelt, der nicht Mitglied des SBV gewesen und von der Allgemeinverbindlichkeit des GAV FAR durch den Bundesrat ausgenommen worden sei. Somit habe Z._ die Anspruchsvoraussetzungen für eine Überbrückungsrente nicht erfüllt, weil er nicht während der letzten sieben Jahre vor dem Leistungsbezug in einem Betrieb gemäss Geltungsbereich des GAV FAR gearbeitet hat. Der Ausschuss Rekurse bestätigte mit Entscheid vom 17. April 2009 die Ablehnung des Leistungsgesuches. B. Die am 6. Mai 2009 gegen die Stiftung FAR erhobene Klage des Z._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 22. Dezember 2009 ab. C. Z._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, der Entscheid vom 22. Dezember 2009 sei aufzuheben und es sei ihm die vollumfängliche reglementarische Überbrückungsrente auszurichten, eventualiter sei die Sache zwecks Überprüfung des Sachverhalts an die Vorinstanz zurückzuweisen. Die Stiftung FAR schliesst auf Abweisung der Beschwerde, das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 