Sachverhalt: A. I._, geboren 1963, hatte sich am 30. Oktober 1995 bei der Invalidenversicherung zum Leistungsbezug angemeldet, nachdem er seine Tätigkeit als Isoleur wegen Rückenbeschwerden im Februar 1995 hatte aufgeben müssen. Die Untersuchung in der Medizinischen Abklärungsstelle MEDAS ergab, dass er in einer leidensangepassten Tätigkeit zu 100 % arbeitsfähig sei (Gutachten vom 16. Oktober 1997). Dem war gemäss Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 27. März 2000 in somatischer Hinsicht zu folgen; es bestand jedoch weiterer Abklärungsbedarf in psychiatrischer Hinsicht, weshalb es die rentenablehnende Verfügung der IV-Stelle des Kantons Zürich vom 4. September 1998 aufhob. Die IV-Stelle liess den Versicherten daraufhin durch Dr. med. S._, Psychiatrie und Psychotherapie sowie Kinder- und Jugendpsychiatrie FMH, begutachten. Gestützt auf dessen Einschätzung der Arbeitsfähigkeit auf 50 % bezog I._ mit Wirkung ab 1. März 1996 eine ganze Invalidenrente bei einem Invaliditätsgrad von 70 % (Verfügungen vom 25. Juni 2001). Die nach einem Wohnortswechsel des Versicherten nunmehr zuständige IV-Stelle Bern leitete im April 2004 ein Revisionsverfahren ein. Sie liess I._ in der Beruflichen Abklärungsstelle BEFAS abklären (Bericht vom 30. März 2006) und holte ein pluridisziplinäres Gutachten der MEDAS, Klinik X._, vom 25. Juni 2007, ein. Gestützt darauf hob die IV-Stelle Bern die Invalidenrente mit Verfügung vom 29. Mai 2008 auf mit der Begründung, dass sich der psychische Gesundheitszustand verbessert habe und nunmehr ein rentenausschliessender Invaliditätsgrad von 20 % bestehe. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 24. Februar 2009 ab. C. I._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag auf Aufhebung des angefochtenen Entscheides; eventualiter sei die Sache zu ergänzenden medizinischen Abklärungen an die Vorinstanz zurückzuweisen; subeventualiter sei ihm eine Viertelsrente zuzusprechen. Des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 