Sachverhalt: A. Mit Verfügung vom 19. Juli 2010 lehnte die IV-Stelle des Kantons Zürich einen Anspruch des A._, geboren 1955, auf eine Invalidenrente ab mit der Begründung, dass ein invalidisierender Gesundheitsschaden nicht ausgewiesen und der Versicherte in einer seinem Rückenleiden angepassten Tätigkeit trotz der geltend gemachten psychischen Beschwerden voll arbeitsfähig sei. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Mai 2012 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm mit Wirkung ab Oktober 2008 eine Dreiviertelsrente zuzusprechen. Des Weiteren ersucht er um Gewährung der unentgeltlichen Prozessführung. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 