Faits : A. A._, ressortissant roumain né en 1990, a été arrêté le 1 er mai 2014 à Lausanne et placé en détention provisoire. Il lui est reproché des vols dans des véhicules, des attouchements à caractère sexuel et une consommation de stupéfiants. Il aurait aussi menacé des ambulanciers venus lui porter secours. Par ordonnance du 4 mai 2014, le Tribunal des mesures de contrainte du canton de Vaud (Tmc) a prolongé pour quinze jours au plus la détention provisoire en raison du risque de collusion. Le 11 mai 2014, le Ministère public de l'arrondissement de Lausanne a demandé une nouvelle prolongation de trois mois de la détention, considérant qu'il existait notamment un risque de récidive. Par ordonnance du 15 mai 2014, le Tmc a refusé de prolonger la détention et a ordonné la mise en liberté immédiate du prévenu. La précédente ordonnance retenait que les auditions de témoins - justifiant le risque de collusion - devaient avoir lieu avant le 15 mai 2014, mais celles-ci avaient été reportées au 27 mai 2014 pour de simples questions d'agenda. Le risque de réitération concernait des infractions qui ne menaçaient pas sérieusement la sécurité publique. B. Par arrêt du 21 mai 2014, après avoir ordonné le maintien en détention à titre de mesure provisionnelle, la Chambre des recours pénale du Tribunal cantonal vaudois a admis le recours formé par le Ministère public et réformé la décision du Tmc, ordonnant la prolongation de la détention provisoire pour trois mois au plus, soit au plus tard jusqu'au 11 août 2014. Les présomptions de culpabilité étaient suffisantes, le prévenu ayant en substance admis les faits. Le pronostic était très défavorable, compte tenu des trois condamnations prononcées entre le 19 décembre 2011 et le 10 septembre 2012. Le prévenu avait récidivé peu de temps après la dernière condamnation, ainsi qu'après avoir été averti par le Ministère public qu'il encourait une révocation de sursis. Compte tenu de ses problèmes d'alcool et de drogue et de ses précédents comportements, il n'était pas exclu qu'il puisse s'en prendre physiquement à des tiers. C. Par acte du 2 juin 2014, A._ forme un recours en matière pénale par lequel il demande l'annulation de l'arrêt cantonal ainsi que sa mise en liberté immédiate. La Chambre des recours a renoncé à se déterminer. Le Ministère public se réfère à l'arrêt cantonal. Le recourant a renoncé à des observations complémentaires. 