Sachverhalt: A. Der 1963 geborene J._ bezieht seit 1. März 2004 eine ganze Rente der Invalidenversicherung. Gestützt auf ein vom Haftpflichtversicherer in Auftrag gegebenes medizinisches Gutachten sowie Observationsberichte stellte die IV-Stelle des Kantons Zürich mit Vorbescheid vom 6. November 2009 die Renteneinstellung in Aussicht. Aufgrund der dagegen erhobenen Einwände veranlasste sie unter anderem das interdisziplinäre Gutachten der Ärzte des Zentrums X._ vom 16. Dezember 2010 sowie deren Egänzungen vom 28. Januar 2011 und 8. April 2011. Mit Verfügung vom 19. August 2011 stellte sie die bisher ausgerichtete Rente als vorsorgliche Massnahme mit sofortiger Wirkung ein und entzog einer gegen die Verfügung gerichteten Beschwerde die aufschiebende Wirkung. In der Folge gingen weitere Arztberichte ein, und die IV-Stelle holte eine weitere Stellungnahme der Gutachter des Zentrums X._ ein, zu welcher der Versicherte am 13. Januar 2012 Stellung nahm. Mit Schreiben vom 6. Februar 2012 bat er die IV-Stelle um einen raschen Entscheid, welches Begehren er unter Androhung einer Rechtsverzögerungsbeschwerde am 7. März 2012 erneuerte. Am 9. Mai 2012 teilte die IV-Stelle dem Versicherten mit, zur Klärung der Leistungsansprüche sei eine umfassende interdisziplinäre Untersuchung an der Klinik Y._ notwendig. Der Versicherter reichte am 14. Mai 2012 Zusatzfragen an die Ärzte ein. Am 10. und 11. Oktober 2012 teilte die Klinik Y._ der IV-Stelle mit, dass erst im ersten Quartal 2013 mit einem Gutachten gerechnet werden könne. Am 16. Oktober 2012 hielt der Versicherte die IV-Stelle nochmals zur Beschleunigung des Verfahrens an. B. J._ liess beim Sozialversicherungsgericht des Kantons Zürich Beschwerde führen und beantragen, es sei festzustellen, dass eine Rechtsverzögerung durch die IV-Stelle vorliege, und diese sei anzuweisen, innert einer vom Gericht festzusetzenden Frist einen Entscheid bezüglich der Invalidenrente zu erlassen; eventuell sei die IV-Stelle anzuweisen, das Abklärungsverfahren umgehend weiterzuführen. Das kantonale Gericht wies die Beschwerde mit Entscheid vom 1. Februar 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt J._ beantragen, es seien der vorinstanzliche Entscheid aufzuheben und unter Feststellung der Rechtsverzögerung die IV-Stelle anzuweisen, unverzüglich einen Entscheid über das Schicksal des seit Juli 2011 vorsorglich eingestellten Rentenanspruchs zu treffen. Die IV-Stelle schliesst unter Verzicht auf eine Stellungnahme auf Abweisung der Beschwerde. Das Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 