Faits: A. A._ fait l'objet d'une enquête pénale pour acte d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. Il lui est reproché d'avoir, dans la nuit du 1 er au 2 août 2013, abusé sexuellement d'une des résidentes de son foyer, alors que celle-ci, sous médicaments, était endormie. Au cours de l'instruction, un rapport d'expertise a été rendu le 19 décembre 2013, dans lequel il a été retenu, à titre de diagnostic, une schizophrénie paranoïde (rémission incomplète), une dépendance au cannabis (actuellement abstinent dans un milieu protégé) et un trouble obsessionnel compulsif (sans précision). Par décision du 5 août 2013, le Tribunal des mesures de contrainte (Tmc) a ordonné le placement en détention provisoire du prévenu, mesure qui a ensuite été valablement renouvelée à plusieurs reprises. Le 31 janvier 2014, le Tmc a prolongé la détention jusqu'au 2 mars 2014. Il a également ordonné, en lieu et place de la détention, des mesures de substitution, soit les obligations pour le prévenu de (1) poursuivre la prise en charge de ses troubles psychiatriques et d'entreprendre un suivi spécifique concernant la sexualité, ainsi que (2) séjourner dans un encadrement résidentiel de type foyer psychiatrique. Cette autorité a cependant subordonné en substance la libération de A._ à son admission dans un foyer tel qu'indiqué. Cette décision n'a pas été contestée. Le 18 février 2014, A._ a été renvoyé en jugement devant le Tribunal correctionnel de l'arrondissement de Lausanne. Par décision du 28 février 2014, il a été placé en détention pour des motifs de sûreté. Le Tmc a fixé la "durée maximale" de cette mesure au 23 juin 2014. Il a également répété que, si les mesures de substitution susmentionnées pouvaient être mises en oeuvre, A._ devrait être libéré. B. Le 20 mars 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours intenté par A._ contre cette décision, retenant l'existence de charges suffisantes et d'un risque de réitération. Elle a relevé que les mesures de substitution telles que préconisées par le premier juge s'avéraient parfaitement adaptées. Quant à la durée de la détention, elle respectait le principe de proportionnalité, notamment au regard de l'audience planifiée le 16 juin 2014. C. Par acte du 16 avril 2014, A._ forme un recours en matière pénale contre ce jugement, concluant à sa réforme en ce sens que sa libération immédiate soit ordonnée. A titre subsidiaire, il requiert, en substance, sa remise en liberté assortie d'une mesure de substitution, soit l'obligation de poursuivre de manière ambulatoire la prise en charge de ses troubles psychiatriques et d'entreprendre un suivi spécifique concernant la sexualité. Il sollicite également l'octroi de l'assistance judiciaire. Invités à se déterminer, le Ministère public a conclu au rejet du recours, tandis que la cour cantonale s'est référée aux considérants de sa décision. Le 5 mai 2014, le recourant a indiqué n'avoir pas d'observations à formuler sur les déterminations communiquées. 