Sachverhalt: Mit Verfügung vom 20. Juli 2004 verneinte die IV-Stelle des Kantons Zürich einen Rentenanspruch des 1953 geborenen M._. Daran hielt sie auf Einsprache hin mit Entscheid vom 23. September 2004 fest. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich am 31. Mai 2005 ab. Mit Verwaltungsgerichtsbeschwerde lässt M._ beantragen, unter Aufhebung des kantonalen und des Einspracheentscheids seien ihm eine Invalidenrente, eventualiter berufliche Massnahmen, zuzusprechen. Weiter ersucht er um Gewährung der unentgeltlichen Verbeiständung. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung. 