Sachverhalt: A. Der am 24. April 1950 geborene und am 11. März 1983 in die Schweiz eingereiste P._ war bis 31. Juli 2002 (letzter Arbeitstag: 31. Januar 2002) bei der Firma B._ als Maler angestellt. Am 16. September 2003 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an, wobei er als Behinderung unter anderem Rückenschmerzen und Depression angab. Die IV-Stelle des Kantons Zürich tätigte Abklärungen in medizinischer und erwerblicher Hinsicht, insbesondere holte sie ein polydisziplinäres Gutachten des Zentrums für Medizinische Begutachtung (ZMB) vom 19. Oktober 2004 ein. Am 18. November 2004 teilte sie P._ mit, sie habe die Ausrichtung einer ganzen Rente beschlossen, worüber er eine separate Verfügung erhalte. Gleichzeitig forderte sie ihn zur Durchführung einer stationären Psychotherapie auf, dies unter Androhung, dass ansonsten die IV-Rente vorübergehend aufgehoben oder dauernd entzogen werden könnte. Mit Verfügungen vom 3. Februar 2005, auf Grund neuer Berechnungsgrundlagen im Zusammenhang mit der Invalidenrente seiner Ehefrau ersetzt durch Verfügungen vom 16. Juni 2005, sprach die IV-Stelle P._ mit Wirkung ab 1. Februar 2003 eine ganze Rente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von 70 % zu. Mit Verfügung vom 3. Januar 2007 stellte die IV-Stelle die Rentenzahlung wegen Verletzung der Mitwirkungspflicht per sofort ein. In der Folge veranlasste sie ein psychiatrisches Gutachten des Dr. med. C._, Facharzt Psychiatrie und Psychotherapie FMH, vom 27. Juni 2007. Mit Verfügung vom 15. November 2007 sprach die IV-Stelle Zürich P._ rückwirkend ab 1. Januar 2007 erneut eine ganze Invalidenrente bei einem Invaliditätsgrad von 100 % zu. Im Rahmen einer Rentenrevision zog die IV-Stelle weitere Arztberichte bei und holte ein bidisziplinäres Gutachten des medizinischen Begutachtungsinstituts X._ vom 7. Januar 2010 sowie eine ergänzende Stellungnahme vom 2. März 2010 ein. In der Folge veranlasste die IV-Stelle ein weiteres orthopädisch-psychiatrisches Gutachten des ärztlichen Abklärungszentrums Y._ vom 23. November 2010. Gestützt darauf stellte die IV-Stelle mit Vorbescheid vom 31. Januar 2011 die Herabsetzung der ganzen Rente auf eine Viertelsrente in Aussicht, wogegen P._ am 6. April 2011 Einwand erhob. Mit Verfügung vom 9. Juni 2011 sprach die IV-Stelle ihm eine Viertelsrente ab 1. August 2011 zu. B. Die hiegegen erhobene Beschwerde mit dem Antrag auf Weiterausrichtung einer ganzen Rente wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. September 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt P._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm weiterhin eine ganze Rente der Invalidenversicherung auszurichten. Während die IV-Stelle des Kantons Zürich auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung. 