Sachverhalt: A. A.a Der 1964 geborene, zuletzt bis März 2003 als Gartenbauarbeiter tätig gewesene S._ meldete sich im September 2003 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte ein MEDAS-Gutachten vom 4. Oktober 2004 ein. Mit Verfügung vom 2. Dezember 2004 und Einspracheentscheid vom 24. Januar 2005 verneinte sie einen Rentenanspruch mit der Begründung, der Invaliditätsgrad betrage lediglich 38 %. Das wurde vom Sozialversicherungsgericht des Kantons Zürich mit rechtskräftigem Entscheid vom 21. September 2005 bestätigt. A.b Im Juli 2008 ersuchte S._ unter Hinweis auf eine gesundheitliche Verschlechterung erneut um eine Invalidenrente. Die IV-Stelle des Kantons Zürich trat auf die Neuanmeldung ein und holte nebst weiteren Arztberichten ein polydisziplinäres medizinisches Gutachten des Instituts X._ vom 19. September 2009 ein. Der Versicherte legte die von ihm veranlasste interdisziplinäre Expertise des Instituts Y._, vom 9. Februar 2011 auf. Mit Verfügung vom 15. April 2011 verneinte die IV-Stelle erneut einen Rentenanspruch, da der Invaliditätsgrad unter 40 % liege. B. Die von S._ hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 22. Januar 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt S._ die Aufhebung des kantonalen Entscheids beantragen und sein vorinstanzliches Begehren auf Zusprechung einer ganzen Invalidenrente ab 1. Juli 2009 erneuern. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt. 