Faits: A. A._, ressortissant cubain né en 1989, fait l'objet de plusieurs procédures pénales. Entre novembre 2009 et mars 2010, il aurait agressé à plusieurs reprises une amie en la serrant au cou, l'aurait violée et l'aurait menacée de mort. Il a été détenu provisoirement du 25 mars au 28 avril 2010. En octobre 2010, il aurait agressé B._ et l'aurait également menacé de mort. Il aurait renouvelé ses menaces à l'égard du précité en décembre 2010 et à trois reprises en 2011, et l'aurait à nouveau agressé et menacé de mort en mars 2012. Le 9 février 2012, il aurait proféré des menaces dans les locaux de la Commission de police de Lausanne, ensuite du séquestre de son véhicule pour environ 6'000 fr. de contraventions impayées. A la demande du Ministère public de l'arrondissement de Lausanne, le Tribunal des mesures de contrainte du canton de Vaud (Tmc) a placé le prévenu en détention provisoire le 11 mars 2012 pour une durée d'un mois. Cette mesure a été reconduite le 10 avril 2012. Le 24 avril 2012, le prévenu a demandé sa mise en liberté provisoire. Cette demande a été transmise au Tmc, lequel a également été saisi d'une demande de prolongation de la détention formée par le Ministère public. Par ordonnance du 10 mai 2012, le Tmc a rejeté la demande de mise en liberté et autorisé la prolongation de la détention pour trois mois au maximum, soit jusqu'au 10 août 2012. Il existait un risque de récidive et les mesures de substitution proposées (interdiction de s'approcher du plaignant, traitement médical, travail régulier) n'apparaissaient pas suffisantes. B. Par arrêt du 23 mai 2012, la Chambre des recours pénale du Tribunal cantonal vaudois a confirmé l'ordonnance du Tmc. Même abstraction faite de l'accusation de viol, les charges étaient suffisantes. Les nombreuses enquêtes ouvertes contre l'intéressé, ses antécédents et son comportement violent en dépit d'une précédente période de détention et d'une mise en garde, impliquaient un risque de récidive pour des actes qui pouvaient être qualifiés de graves. Les mesures de substitution proposées par l'intéressé, ainsi que des contacts auprès de la Fondation de Nant, n'étaient pas suffisants. La durée de la détention provisoire était proportionnée à la peine encourue. C. Par acte du 18 juin 2012, A._ forme un recours en matière pénale. Il demande la réforme de l'arrêt cantonal en ce sens que sa libération immédiate est ordonnée. Subsidiairement, il conclut au renvoi de la cause au Tmc, voire à la cour cantonale, pour nouvelle décision au sens des considérants. Il requiert l'assistance judiciaire. La Chambre des recours pénale se réfère aux considérants de son arrêt, sans observations. Le Ministère public conclut au rejet du recours. Le recourant a persisté dans son recours, renonçant à déposer de nouvelles observations. 