Faits: A. X._ a été inculpé le 29 février 2008, par le Juge d'instruction de l'arrondissement de Lausanne, d'actes d'ordre sexuel commis en 2006 et 2007 sur des fillettes, A._ (la fille de sa concubine) et B._, alors âgées d'une dizaine d'années. Le même jour, il a été mis en détention préventive. Le 7 mars 2008, le Juge d'instruction a refusé la mise en liberté du prévenu, en raison des besoins de l'enquête et pour des motifs d'ordre public. Cette décision a été confirmée le 27 mars 2008 par le Tribunal d'accusation du Tribunal cantonal vaudois. Le 31 mars 2008, le Juge d'instruction a remis en liberté X._, avec l'interdiction d'essayer d'entrer en contact directement ou indirectement, y compris par correspondance, avec les victimes. Par arrêt du 22 avril 2008, le Tribunal d'accusation a rejeté le recours formé par le Ministère public, considérant qu'après l'audition de toutes les personnes impliquées et les opérations d'enquête effectuées au domicile et sur le bateau de l'inculpé, le risque de collusion n'était plus suffisant. A._ et sa mère avaient quitté la maison de l'inculpé pour aller vivre auprès du père biologique de la fillette. Le Service de protection de la jeunesse (SPJ) allait s'assurer que A._ demeure chez son père et que sa mère se montre "suffisamment protectrice". Les parents des autres victimes avaient été informés. Ces mesures paraissaient suffisantes pour éviter toute récidive. B. Le 6 mars 2009, le Juge d'instruction a remis X._ en détention préventive après avoir appris que celui-ci avait passé une semaine de vacances en Tunisie avec A._ et sa mère, au mois d'août 2008, et qu'il les avait invitées à manger au restaurant à Verbier au mois de décembre 2008. Par décision du 16 mars 2009, le Juge d'instruction a rejeté une demande de mise en liberté. Le prévenu n'avait pas pu maintenir la distance exigée vis-à-vis de l'enfant, et l'on pouvait craindre qu'il ne puisse dominer ses pulsions. Il existait en outre un risque de collusion. Par arrêt du 3 avril 2009, le Tribunal d'accusation a confirmé cette décision. Les manquements de l'inculpé révélaient qu'il lui était difficile, sinon impossible de respecter ses engagements. La situation de la victime s'en trouvait aggravée. Il y avait donc un risque de récidive. Les nécessités de l'instruction commandaient également le maintien de la détention: une expertise était encore en cours sur les atteintes sexuelles qu'aurait subies l'une des victimes. C. X._ forme un recours en matière pénale. Il conclut à la réforme de l'arrêt cantonal et à sa mise en liberté immédiate, éventuellement assortie de conditions, subsidiairement au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Le Tribunal d'accusation se réfère aux considérants de son arrêt. Le Ministère public conclut au rejet du recours. Le recourant a renoncé à déposer des observations complémentaires. 