Sachverhalt: A. H._, geboren 1951, war bei der X._ AG angestellt und für den Sicherheitsbereich der Geschäftsstelle Zürich zuständig, als er sich am 20. März 1996 bei einem Motorradunfall am linken Unterarm verletzte. Es verblieben Belastungs- und Funktionsbeschwerden, weshalb er als Warenhausdetektiv nicht mehr eingesetzt werden konnte und ihm die Stelle von der Arbeitgeberin per 30. Juni 1998 gekündigt wurde. Ab dem 1. Juni 1999 führte er eine Tankstelle. Die IV-Stelle des Kantons Zürich gewährte unter der Annahme, dass H._ in einer leidensangepassten Tätigkeit zu 100% arbeitsfähig sei und seit dem 1. Juni 1999 auch ein rentenausschliessendes Einkommen zu erzielen vermöge, eine bis zum 30. Juni 1999 befristete Invalidenrente bei einem Invaliditätsgrad von 48%. Nach seiner Neuanmeldung bezog H._, wiederum unter Annahme einer 100%igen Arbeitsfähigkeit in einer leidensangepassten Tätigkeit, seit dem 1. Juli 2006 erneut eine Viertelsrente bei einem Invaliditätsgrad von 48%. Im Zuge eines von Amtes wegen eingeleiteten Revisionsverfahrens holte die IV-Stelle ein Gutachten des Dr. med. S._, Orthopädische Chirurgie und Traumatologie des Bewegungsapparates FMH, vom 28. April 2010 ein. Mit Verfügung vom 3. November 2011 hob sie die Invalidenrente unter Hinweis auf einen rentenausschliessenden Invalidiätsgrad von 16% auf. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 14. März 2013 ab. C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag auf Aufhebung des angefochtenen Entscheides und der Revisionsverfügung vom 3. November 2011. Des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 