Faits : Faits : A. Par jugement du 22 novembre 2005, le tribunal correctionnel du district de Lausanne a notamment condamné X._, médecin né en 1947, à la peine de quatre ans de réclusion sous déduction de quarante-cinq jours de détention préventive, pour viol (art. 190 CP), abus de la détresse (art. 193 CP) et tentative d'abus de la détresse (art. 21 et 193 CP). Le tribunal correctionnel a, en outre, prononcé une interdiction de pratiquer la profession de médecin pour une durée de cinq ans. A. Par jugement du 22 novembre 2005, le tribunal correctionnel du district de Lausanne a notamment condamné X._, médecin né en 1947, à la peine de quatre ans de réclusion sous déduction de quarante-cinq jours de détention préventive, pour viol (art. 190 CP), abus de la détresse (art. 193 CP) et tentative d'abus de la détresse (art. 21 et 193 CP). Le tribunal correctionnel a, en outre, prononcé une interdiction de pratiquer la profession de médecin pour une durée de cinq ans. B. Le 4 mai 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a confirmé ce jugement. En résumé, son arrêt est fondé sur les faits suivants: B.a X._, né à Belgrade, y a obtenu un diplôme de médecin en 1970, avec spécialisation ORL en 1978. Il exerce en Suisse depuis 1972 et a été engagé comme médecin généraliste à la Policlinique M._ depuis le printemps 1999. B.b Au début de l'année 2000, lors d'une consultation pour un problème urinaire, X._ a effectué un toucher vaginal sur C._. Lors de la deuxième consultation, il a mis son doigt à l'entrée du vagin et a caressé la vulve de la patiente, puis lui a demandé de se rhabiller, précisant qu'il fallait toujours qu'elle mette d'aussi jolis sous-vêtements. Un an plus tard, lors d'une consultation pour un mal de gorge, l'accusé, qui se trouvait debout devant sa patiente qui était en string, lui a passé ses mains sur les fesses. B.c Le 23 novembre 2000, G._, qui consultait l'accusé pour une bronchite, a dû se mettre en sous-vêtements et s'allonger. L'accusé a baladé ses mains sur le dos et les fesses de la patiente. Celle-ci a interrompu immédiatement son examen pour se rhabiller. B.d En décembre 2000, l'accusé a pris en charge en urgence F._ pour une cystite. Il lui a demandé de se coucher sur le dos et de descendre son pantalon sur la base des hanches. Il lui a dit de se coucher sur le côté gauche au bord du lit. F._ touchait avec ses fesses l'accusé à la hauteur de son bas-ventre. L'accusé a commencé par lui toucher le bas du dos, puis les reins. L'examen s'est arrêté là. Au rendez-vous suivant, alors que la patiente était couchée sur le ventre, l'accusé lui a descendu un peu son pantalon et son slip. Il lui a fait des touchers sur l'aine, légèrement sous le slip en remontant puis lui a touché le dos et les fesses, en mettant le slip de F._ entre ses fesses. Il lui a demandé de se mettre sur les genoux de sorte que la patiente avait la poitrine qui touchait le lit et les fesses en l'air. Il s'est mis derrière elle à la hauteur de ses fesses et a commencé à passer ses mains sous son slip et à toucher ses fesses, les hanches et le ventre. Lors du troisième rendez-vous, l'accusé, après avoir procédé aux mêmes examens, a demandé à F._ s'il pouvait lui faire un toucher ou voir si sa vulve était rouge. Elle a refusé et il n'a pas insisté. Il lui a encore donné son numéro de téléphone privé sur un bout de papier en déclarant qu'elle pouvait le contacter si elle avait mal ou juste pour le voir. B.e Lors d'une consultation, le 10 mai 2001, l'accusé a demandé à D._ de se déshabiller et lui a roulé son slip de façon a en faire un string. Il avait préalablement fermé la porte de la pièce à clef. Il lui a caressé les jambes et a posé sa main sur son sexe par dessus le slip. Au même moment, le téléphone a sonné et il a demandé à D._ de se rhabiller. B.f H._ a consulté X._ pour une cystite. Lors du deuxième rendez-vous, il lui a posé beaucoup de questions en relation avec son vagin et lui a demandé d'enlever son string. Alors que la patiente était couchée sur le dos et tendait ses jambes, il a pris la jambe droite et a commencé à la lever et la basculer sur le côté et à la replier. Il a fait la même chose avec l'autre jambe. La patiente, qui avait très mal aux reins, lui a ordonné d'arrêter. L'accusé a ensuite examiné le vagin de la patiente sans faire de frottis. Elle lui a montré où elle avait mal mais l'accusé persistait à dire que ce n'étaient pas les reins. Après la consultation, H._ s'est rendue au CHUV; il s'est avéré qu'elle avait une très grosse infection des reins. B.g Le 13 octobre 2001, E._ s'est rendue à la policlinique M._ pour des maux de dos. Au cours de la consultation, X._ a commencé à toucher la colonne vertébrale de la patiente, du milieu des omoplates jusqu'à la partie supérieure du fessier. Puis, il lui a descendu partiellement sa culotte et lui a décroché son soutien-gorge. B.h Le 7 juin 2001, B._ a consulté X._ pour de vives douleurs qui allaient de la nuque au bras droit. X._ a notamment écouté le coeur de la patiente et pour ce faire dégrafé son soutien-gorge. Lors du deuxième rendez-vous, il a débuté son auscultation très brièvement au niveau des cervicales, puis a mis ses mains sur les fesses de la patiente, qui était en sous-vêtements. Il les a palpées, selon lui, pour atteindre le nerf sciatique. Il a passé aux hanches et à l'intérieur des cuisses. La patiente était très mal à l'aise, X._ n'arrêtant pas de justifier ses gestes sous des prétextes médicaux. Ensuite, il lui a demandé de se remettre debout et de pencher son torse dans tous les sens. Quand elle s'est exécutée, l'accusé était appuyé contre elle, sa main dans son dos. La patiente a senti son sexe en érection sous sa blouse de médecin, contre ses fesses. Elle s'est ensuite rhabillée et X._ lui a donné un autre rendez-vous quelques jours plus tard à 20 heures 30. Lors de cette troisième consultation, B._ s'est à nouveau mise en string et en soutien-gorge. X._ lui a demandé de s'allonger tout au bord de la table et s'est appuyé contre elle pour qu'elle ne tombe pas. Il a mis ses mains sur ses fesses et la patiente a senti son pénis en érection dans son pantalon. X._ lui a fait faire des exercices en lui manipulant les jambes. A plusieurs reprises, il l'a frôlée sur le pli de l'aine et le vagin tout en justifiant ses actes. B._ lui a dit qu'elle avait mal à l'épaule et qu'elle ne comprenait pas pourquoi il agissait de la sorte. X._ a continué ses manipulations. Au terme de la consultation qui a duré environ une demi-heure, B._ s'est rhabillée et X._ l'a invitée à boire un verre, ce qu'elle a refusé. B.i A._ s'est rendue d'urgence à la Policlinique M._, le 2 janvier 2002, car elle souffrait d'un mal de dos. X._ a remonté les bords de la culotte de la patiente pour en faire un string. Lors d'une deuxième consultation, l'accusé lui a demandé d'enlever sa culotte, de s'allonger sur le ventre et d'écarter les jambes. Il lui a alors effleuré à maintes reprises le sexe en lui expliquant qu'il s'agissait d'un examen pour son mal de dos. La sonnerie du téléphone portable de la jeune femme a mis fin aux agissements de X._. Lors de la troisième consultation, le 19 janvier 2002, l'accusé a tenu des propos très équivoques, comme par exemple: "vous avez un très joli corps, j'ai pas arrêté de penser à vous." A._ a senti qu'il fallait qu'elle parte mais elle était paralysée de peur. X._ lui a ensuite déclaré qu'il était en train de se masturber. Il lui a demandé de s'allonger sur le dos à une extrémité de la table, ses jambes écartées pendant dans le vide. Il a avancé sa chaise vers A._ et a mis les jambes de cette dernière sur ses cuisses. Il lui disait: je vais te faire du bien, tu verras, décontracte-toi." Il a alors tenté de la pénétrer et elle lui a dit "non" à voix haute. A cet instant, une infirmière a frappé deux fois à la porte sans rien dire. X._ a alors fait prendre à A._ une position en chien de fusil, le dos tourné contre lui, lui a soulevé sa jambe et l'a pénétrée avec son sexe. Il s'est ensuite retiré et a éjaculé sur sa jambe gauche puis l'a essuyée en lui disant que cela n'avait jamais été aussi bon. A._ s'est recroquevillée en boule en pleurant et en répétant inlassablement "non". Tremblante, elle s'est rhabillée. L'accusé lui a demandé de l'attendre dans sa salle d'attente puis il l'a fait venir très rapidement dans son cabinet où il lui a dit qu'il s'agissait d'un secret entre eux et qu'il connaissait des gens très haut placés. Un constat d'agression sexuelle a été opéré aux urgences de la maternité du CHUV le 19 janvier 2002. Il a été posé le diagnostic d'état de choc psychologique et de syndrome post-traumatique important. A._ a été hospitalisée trois jours aux Centre psychiatrique N._. L'analyse effectuée par l'Institut universitaire de médecine légale (IUML) du matériel biologique prélevé sur A._ a révélé la présence de quelques têtes de spermatozoïdes sur le slip de la victime et d'un profil masculin présentant les mêmes caractéristiques que celui de l'accusé. B.j Une expertise médico-légale a été confiée au Prof. I._ de l'IUML. Cet expert a conclu que la description par les patientes du déroulement des examens cliniques pratiqués sur elles par X._, révélait une dérive systématique de l'examen médical et des manquements graves aux règles les plus élémentaires de la pratique. Quant aux agissements dévoilés par le récit de A._, ils dépassaient, toujours selon l'expert, largement le domaine de la médecine. B.j Une expertise médico-légale a été confiée au Prof. I._ de l'IUML. Cet expert a conclu que la description par les patientes du déroulement des examens cliniques pratiqués sur elles par X._, révélait une dérive systématique de l'examen médical et des manquements graves aux règles les plus élémentaires de la pratique. Quant aux agissements dévoilés par le récit de A._, ils dépassaient, toujours selon l'expert, largement le domaine de la médecine. C. X._ interjette un recours de droit public et un pourvoi en nullité contre cet arrêt, concluant à son annulation et à l'octroi de l'effet suspensif. Ce dernier a été accordé par ordonnance du 30 octobre 2006. Invités à se déterminer sur le recours de droit public et le pourvoi en nullité, la Cour cantonale, le Ministère public du canton de Vaud, C._, D._ et E._ y ont renoncé, se référant aux considérants de l'arrêt cantonal. F._ n'a pas déposé d'observations. A._ et B._ ont conclu, sur la base de brèves observations, au rejet du recours et du pourvoi et à ce qu'elles soient mises au bénéfice de l'assistance judiciaire. 