Sachverhalt: A. Der 1961 geborene I._ arbeitete bis 1991 als Gerüstmonteur. Am 10. Dezember 1991 meldete er sich unter Hinweis auf Kopf- und Gliederschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Die Ausgleichskasse des Kantons Zürich, IV-Sekretariat, klärte den medizinischen und erwerblichen Sachverhalt ab. Mit Beschluss vom 24. Juni 1993 wurde I._ ab 1. März 1992 eine ganze Invalidenrente (samt Zusatzrenten für Ehegattin und Kinder) zugesprochen. Dies wurde mit Verfügung vom 28. Oktober 1997 sowie Mitteilung vom 12. Juni 2001 revisionsweise bestätigt. Im Rahmen einer weiteren Rentenrevision zog die IV-Stelle des Kantons Zürich einen Bericht des behandelnden Arztes Dr. med. K._, Innere Medizin FMH, vom 4. April 2005 bei und holte ein Gutachten des Zentrums X._ vom 18. April 2007 ein. Nach durchgeführtem Vorbescheidverfahren setzte sie die ganze Rente bei einem neu auf 48 % festgelegten Invaliditätsgrad ab 1. Januar 2008 auf eine Viertelsrente herab (Verfügung vom 14. November 2007). B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 26. Mai 2009 ab. C. I._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten; er beantragt, es sei ihm unter Aufhebung des vorinstanzlichen Entscheides weiterhin eine ganze Rente auszurichten; das kantonale Gericht sei anzuweisen, die unentgeltliche Rechtspflege zu gewähren; zudem ersucht er um unentgeltliche Prozessführung und Bewilligung eines unentgeltlichen Rechtsbeistandes im bundesgerichtlichen Verfahren. Mit Verfügung vom 14. August 2009 weist das Bundesgericht das Gesuch um unentgeltliche Rechtspflege vor dieser Instanz ab. Die IV-Stelle schliesst auf Abweisung der Beschwerde. 