Sachverhalt: A. Der 1965 geborene I._ war bei der Winterthur Versicherungen (heute: AXA Versicherungen AG; nachfolgend kurz AXA) gegen Unfälle versichert, als er sich am 2. Oktober 2001 bei einem Arbeitsunfall verschiedene Knochenbrüche zuzog. Die AXA erbrachte Heilbehandlung und richtete Taggeldleistungen aus. Mit Verfügung vom 31. Januar 2006 stellte sie die Taggelleistungen per 31. Mai 2005 ein und sprach I._ statt dessen eine Invalidenrente auf der Grundlage einer Erwerbsunfähigkeit von 60 % zu. Mit Verfügung vom 2. Mai 2011 stellte die AXA die Rente mit Wirkung ab 1. März 2011 neu auf die Basis eines Invaliditätsgrades von 26 %. Daran hielt sie auf Einsprache hin mit Entscheid vom 10. November 2011 fest. B. Eine dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 12. März 2013 teilweise gut und stellte in Aufhebung des Einspracheentscheids fest, dass I._ mit Wirkung ab 1. Dezember 2011 Anspruch auf eine Invalidenrente aufgrund eines Invaliditätsgrads von noch 35 % habe. C. I._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Einsprache- und des kantonalen Entscheides sei ihm die Invalidenrente weiterhin auf der Grundlage eines Invaliditätsgrades von 60 % auszurichten; eventualiter sei die Sache an die Vorinstanz zur Einholung eines Gerichtsgutachtens zurückzuweisen. Gleichzeitig lässt er um Gewährung der unentgeltlichen Rechtspflege ersuchen. Die AXA schliesst auf Abweisung der Beschwerde, das Bundesamt für Gesundheit verzichtet auf eine Stellungnahme. 