Faits : Faits : A. Entre le 30 août et le 23 novembre 2003, trois femmes, A._, B._ et C._ ont été agressées à Vevey et Corsier. Une quatrième, D._ a eu la suspicion d'avoir été agressée en raison d'une chute à vélo qu'elle ne pouvait s'expliquer. Tous ces faits se sont produits dans un périmètre géographique restreint, avec l'Eglise St-Martin, de Vevey, comme point central pour trois des quatre cas. Certaines similitudes dans le mode opératoire ont laissé supposer aux enquêteurs que les agressions étaient le fait d'un seul et même auteur. A._, B._ et D._ n'ont gardé aucun souvenir des faits en raison de leur évanouissement. Elles portaient des traces de lésions à la tête ce qui donnait à penser que l'auteur les avait frappées violemment pour les assommer. C._ est restée consciente mais n'a pu donner que peu d'éléments permettant d'identifier son agresseur. Ces agressions avaient aussi un caractère sexuel puisque lors des attaques de A._ et B._, le slip des victimes a été arraché. Une trace de sperme a été trouvée sur le pantalon porté par A._ lors de l'agression, de même que du matériel humain masculin, lors des prélèvements vaginaux effectués sur cette victime. L'Institut universitaire de médecine légale de Lausanne a identifié le profil ADN de X._ qui a été arrêté le jour même soit le 9 février 2004. Il a toujours nié être l'auteur de ces agressions. Il est reproché à X._ d'avoir, le 30 août 2003 vers 7h.35, sur l'esplanade sise en contrebas de l'Eglise St-Martin, à Vevey, dans des circonstances qui n'ont pas pu être établies avec certitude, frappé violemment A._ par derrière en lui assénant plusieurs coups d'une violence telle que sa vie a été mise en danger et qu'elle a subi des lésions graves, d'avoir arraché son slip, baissé son pantalon et de l'avoir pénétrée, abandonnant ensuite la jeune femme gravement blessée à l'endroit de l'agression, après lui avoir dérobé son porte-monnaie et son téléphone portable. Le sperme de X._ a été formellement identifié sur le vêtement de la victime et du matériel humain appartenant à la lignée masculine X._ a été retrouvé dans le vagin de la victime. Les soupçons à l'égard de l'accusé étaient confirmés par son emploi du temps, ainsi que sa façon d'agir, son fétichisme et sa relation avec son amie, de telle sorte que le tribunal a considéré que X._ était l'auteur de cette agression. Il est également reproché à X._ d'avoir, le 14 octobre 2003 à Vevey, assailli par derrière B._ au moment où elle était sur le point d'entrer dans un garage souterrain. L'accusé aurait ensuite frappé violemment la tête de sa victime contre un mur, après l'avoir saisie par les cheveux, la faisant également sombrer dans l'inconscience. Il aurait alors baissé le pantalon de la jeune femme et lui aurait coupé son string. Lors de l'agression, B._ s'est fait voler son sac qui contenait notamment ses cartes bancaires, son abonnement général de train et des produits de maquillage. Malgré l'absence d'élément technique ou scientifique permettant de confondre formellement X._, le tribunal a acquis la conviction que X._ était l'auteur de cette agression en raison des similitudes étroites qui existaient avec le cas de A._, notamment, le fait que le slip de la victime ait été arraché et celle-ci abandonnée sur les lieux, le mode opératoire, l'emploi du temps de l'accusé, ses troubles de la personnalité et les difficultés relationnelles qu'il rencontrait avec son amie. X._ est encore accusé d'avoir, le 23 novembre 2003 vers 4 h.14, agressé C._ alors qu'elle rentait chez elle. X._ aurait violemment poussé sa victime par derrière pour la faire chuter et l'aurait ensuite frappée avec ses poings et ses pieds sur le visage. C._ a tenté de se protéger et a hurlé, ce qui a fait fuir son agresseur. Les blessures consécutives à l'agression ont toutes guéri sans laisser de trace. Le tribunal a acquis la conviction que X._ était l'auteur de cette agression en raison des similitudes avec les cas précédents, savoir l'agression par derrière avec de violents coups donnés à la tête et les perturbations relationnelles ayant pu amener l'accusé à passer à l'acte. Le tribunal a fait état des concordances concernant l'emploi du temps de la victime et de son agresseur et du fait que le signalement donné par la victime correspondait à celui de X._, même si elle ne l'avait pas reconnu formellement sur présentation de photographies. Le tribunal a acquis la conviction que X._ était l'auteur de cette agression en raison des similitudes avec les cas précédents, savoir l'agression par derrière avec de violents coups donnés à la tête et les perturbations relationnelles ayant pu amener l'accusé à passer à l'acte. Le tribunal a fait état des concordances concernant l'emploi du temps de la victime et de son agresseur et du fait que le signalement donné par la victime correspondait à celui de X._, même si elle ne l'avait pas reconnu formellement sur présentation de photographies. B. En cours d'enquête, X._ a été soumis à une expertise psychiatrique qui admettait une responsabilité légèrement diminuée. Les experts n'ont pas voulu se prononcer sur la question de l'internement en raison des dénégations de X._. Le tribunal a estimé qu'il n'avait pas d'autre choix que de constater que l'état mental de X._, en raison de sa personnalité de type dyssociale, l'exposait avec une probabilité élevée à commettre de nouveaux actes de violence susceptibles d'engendrer de graves lésions psychiques et physiques chez de nouvelles victimes. B. En cours d'enquête, X._ a été soumis à une expertise psychiatrique qui admettait une responsabilité légèrement diminuée. Les experts n'ont pas voulu se prononcer sur la question de l'internement en raison des dénégations de X._. Le tribunal a estimé qu'il n'avait pas d'autre choix que de constater que l'état mental de X._, en raison de sa personnalité de type dyssociale, l'exposait avec une probabilité élevée à commettre de nouveaux actes de violence susceptibles d'engendrer de graves lésions psychiques et physiques chez de nouvelles victimes. C. Par jugement du 27 février 2006, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a notamment condamné X._ pour lésions corporelles graves, lésions corporelles simples, fausse alerte, mise en danger de la vie d'autrui, vol, dommages à la propriété, détournement de valeurs patrimoniales mises sous main de justice, viol qualifié, contrainte sexuelle qualifiée, tentative de contrainte sexuelle à la peine de dix ans de réclusion, révoqué les sursis accordés le 22 mai 2001 et le 6 septembre 2001 et ordonné l'exécution de ces peines au profit de l'internement de X._ en application de l'art. 43 ch. 1 al. 2 CP, expulsé X._ du territoire suisse pour une durée de quinze ans et mis les frais à sa charge. C. Par jugement du 27 février 2006, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a notamment condamné X._ pour lésions corporelles graves, lésions corporelles simples, fausse alerte, mise en danger de la vie d'autrui, vol, dommages à la propriété, détournement de valeurs patrimoniales mises sous main de justice, viol qualifié, contrainte sexuelle qualifiée, tentative de contrainte sexuelle à la peine de dix ans de réclusion, révoqué les sursis accordés le 22 mai 2001 et le 6 septembre 2001 et ordonné l'exécution de ces peines au profit de l'internement de X._ en application de l'art. 43 ch. 1 al. 2 CP, expulsé X._ du territoire suisse pour une durée de quinze ans et mis les frais à sa charge. D. X._ a recouru contre ce jugement auprès de la Cour de cassation pénale du Tribunal cantonal vaudois, demandant à être libéré des accusations de viol qualifié ainsi que de contrainte sexuelle qualifiée et à être condamné à une peine n'excédant pas six ans de réclusion. Il a également conclu à ce qu'il soit renoncé à son internement et à son expulsion. Sur requête de X._, un complément d'expertise a été ordonné quant à la question de l'internement, qui a été déposé le 19 juillet 2006. Le 24 novembre 2006, la Cour de cassation pénale cantonale a partiellement admis le recours de X._ modifiant la qualification de contrainte sexuelle qualifiée (art. 189 al. 3 CP) en contrainte sexuelle simple (art. 189 al. 1 CP) dans le cas de B._ et abandonnant la condamnation pour lésions corporelles simples en relation avec cette agression également. Elle a fixé une nouvelle peine à 9 ans de réclusion, confirmant le jugement de première instance pour le surplus. Le 24 novembre 2006, la Cour de cassation pénale cantonale a partiellement admis le recours de X._ modifiant la qualification de contrainte sexuelle qualifiée (art. 189 al. 3 CP) en contrainte sexuelle simple (art. 189 al. 1 CP) dans le cas de B._ et abandonnant la condamnation pour lésions corporelles simples en relation avec cette agression également. Elle a fixé une nouvelle peine à 9 ans de réclusion, confirmant le jugement de première instance pour le surplus. E. Contre cet arrêt, X._ forme un recours de droit public pour violation du principe in dubio pro reo et un pourvoi en nullité pour violation des art. 190 al. 3 CP, 43 CP et 63 CP, concluant, dans les deux recours, à l'annulation de l'arrêt attaqué avec suite de frais et dépens. Il sollicite également l'assistance judiciaire dans les deux procédures. La cour cantonale n'a pas présenté d'observations et se réfère aux considérants de son arrêt. 