Sachverhalt: A. Die 1929 geborene W._ bezieht Zusatzleistungen zur AHV. Sie ersuchte am 26. September 2006 das Amt für Zusatzleistungen zur AHV/IV der Stadt Zürich um Genehmigung eines Kostenvoranschlags für eine Zahn-Implantatversorgung im Betrag von Fr. 9'439.40. Nachdem die Vertrauensärztin festgestellt hatte, die geplante Behandlung sei zwar zweckmässig, aber nicht einfach und wirtschaftlich, verfügte das Amt am 6. März 2007, der Kostenvoranschlag könne nicht genehmigt werden. W._ erhob dagegen Einsprache, wobei sie zugleich einen zweiten Voranschlag für eine Teilprothese über einen Betrag von Fr. 4'105.20 einreichte und mitteilte, die Implantatversorgung sei bereits durchgeführt worden und habe Fr. 8'846.- gekostet. Das Amt wies die Einsprache am 12. Juli 2007 in Bezug auf die Kosten für die Implantatversorgung ab, ohne sich zum Anspruch auf Vergütung der Kosten für die Prothese zu äussern. Der Bezirksrat Zürich wies mit Beschluss vom 17. Januar 2008 die Einsprache in Bezug auf die Kostenübernahme für das Implantat ab, ebenso den eventualiter gestellten Antrag auf Übernahme der Kosten für die Teilprothese im Betrag von Fr. 4'105.20. B. Das Sozialversicherungsgericht des Kantons Zürich hiess die dagegen erhobene Beschwerde mit Entscheid vom 4. November 2009 in dem Sinne teilweise gut, als es den angefochtenen Beschluss insoweit aufhob, als damit der Anspruch auf Vergütung der Kosten im Betrag von Fr. 4'105.20 abgewiesen wurde, und es die Sache an das Amt für Zusatzleistungen zurückwies, damit dieses im Sinne der Erwägungen über den Anspruch neu befinde. C. Das Amt für Zusatzleistungen der Stadt Zürich erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der Anspruch auf Vergütung der Teilprothesenversorgung sei abzuweisen. W._ und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung. 