Sachverhalt: A. S._, geboren 1963, arbeitete als Pflegeassistent im Pflegeheim X._. Nach verschiedenen krankheitsbedingten Absenzen, unter anderem zufolge Hospitalisation auf der Interventionsstation des Spitals Y._, wurde ihm die Stelle per 30. April 2004 gekündigt, weil er die geforderte Kontinuität in der Arbeitsleistung nicht habe erbringen können. Am 8. November 2005 meldete sich S._ unter Hinweis auf sein psychisches Leiden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Bern holte einen Bericht des Spitals Y._, Zentrum für Psychiatrie und Psychotherapie, vom 8. Februar 2006 ein, wo der Versicherte im Oktober/November 2003 stationär und seither ambulant betreut worden war, ein Gutachten des Dr. med. B._, Psychiatrie und Psychotherapie FMH, vom 18. September 2006, einen ärztlichen Zwischenbericht des behandelnden Psychiaters Dr. med. A._, vom 5. Juni 2007 sowie eine Stellungnahme und einen Untersuchungsbericht ihres Regionalen Ärztlichen Dienstes (RAD), Dr. med. B._ (vom 24. Januar bzw. vom 19. Februar 2008). Gestützt darauf stellte sie S._ mit Vorbescheid vom 4. März 2008 in Aussicht, dass ab dem 1. November 2004 Anspruch auf eine halbe, ab dem 1. Februar 2006 eine ganze und ab dem 1. Juni 2007 wiederum eine halbe, bis zum 30. September 2007 befristete Invalidenrente bestehe. Nachdem Dr. med. A._ am 18. März 2008 über den Verlauf der Therapie berichtet hatte, liess die IV-Stelle den Versicherten vom 23. Oktober 2008 bis zum 2. Juni 2009 in der Werkstätte Z._ abklären und schliesslich erneut durch ihren RAD, Dr. med. C._, untersuchen (Bericht vom 8. Oktober 2009). Gestützt darauf lehnte sie den Anspruch auf eine Invalidenrente nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 3. Juni 2010 ab mit der Begründung, dass S._ die Ausübung einer leidensangepassten Tätigkeit ganztags zumutbar sei. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 4. November 2010 ab. C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm eine Invalidenrente zuzusprechen. Des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 