Sachverhalt: A. Der 1966 geborene, zuletzt als Betriebsangestellter Fahrzeugreinigung bei einem Eisenbahnunternehmen tätig gewesene M._ meldete sich im Oktober 2007 unter Hinweis auf seit 2006 bestehende "Depressionen, Rückenschmerzen, Knieschmerzen, Probleme mit dem Blut, chronische Analfissuren" bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich zog u.a. Berichte der behandelnden Ärzte und des Arbeitgebers bei. Zudem holte sie ein erstes polydisziplinäres medizinisches Gutachten des Instituts B._ vom 2. Juni 2008 und eine psychiatrische Expertise des Dr. med. S._, vom 30. Juli 2009 ein. Im Fortgang des Verfahrens sah sich die Verwaltung sodann veranlasst, das Institut B._ mit einem Verlaufsgutachten zu beauftragen, welches am 21. Februar 2011 (mit Ergänzung vom 1. Juni 2011) erstattet wurde. Mit Verfügungen vom 8. und 20. Juli 2011 sprach die IV-Stelle dem Versicherten rückwirkend ab 1. Februar 2008 bei einem Invaliditätsgrad von 45 % eine Viertelsrente (nebst zwei Kinderrenten) zu. B. M._ führte Beschwerde auf Zusprechung einer unbefristeten ganzen Rente ab 1. Februar 2008. Er legte hiebei u.a. ein von ihm eingeholtes psychiatrisches Gutachten des Dr. med. A._, vom 24. August 2011 auf. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 29. März 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ die Aufhebung des kantonalen Entscheids beantragen und sein vorinstanzliches Leistungsbegehren erneuern. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt. 