Sachverhalt: A. Mit Verfügung vom 27. Dezember 2000 sprach die IV-Stelle des Kantons Zürich H._ ab 1. Januar 1999 eine halbe Invalidenrente zu. Am 19. Februar 2002 erhöhte sie diese per 1. Dezember 2001 auf eine ganze Rente. Mit Mitteilung vom 3. Februar 2005 bestätigte sie die ganze Invalidenrente mangels rentenbeeinflussender Änderung. Im September 2010 leitete die IV-Stelle ein erneutes Revisionsverfahren ein. Mit Verfügung vom 20. Juli 2011 hob sie die laufende Invalidenrente gestützt auf das psychiatrisch-rheumatologische Gutachten des Instituts X._ vom 10. März 2011 und dessen Ergänzung vom 31. März/1. April 2011 per Ende August 2011 auf. B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 1. Februar 2013 ab. C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei die Sache unter Aufhebung des kantonalen Entscheids an die Vorinstanz oder an die IV-Stelle zur Neubeurteilung zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 