Sachverhalt: A. Der 1963 geborene R._ arbeitete seit Februar 1991 als Filialleiter in der Firma A._ AG. Wegen Rückenschmerzen meldete er sich am 14. Januar 1999 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich anerkannte ab September 2001 den Anspruch auf Umschulung, welche der Versicherte am 6. Mai 2002 jedoch abbrach. Nach Abklärung der Verhältnisse hinsichtlich eines Rentenanspruchs lehnte die IV-Stelle das Leistungsbegehren bei einem Invaliditätsgrad von 36 % mit Verfügung vom 5. Oktober 2005 und Einspracheentscheid vom 3. Januar 2006 ab. B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 31. Mai 2009 ab. Dabei stützte sich die Vorinstanz insbesondere auf ein von ihr in Auftrag gegebenes Gutachten vom 21. Oktober 2008 des medizinischen Zentrums X._. C. R._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag auf Aufhebung des angefochtenen Entscheids und Rückweisung der Sache an die IV-Stelle zwecks neuer psychiatrischer Beurteilung. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet. 