Faits : Faits : A. Par jugement du 20 avril 2006, le Tribunal correctionnel du Tribunal d'arrondissement de Lausanne (ci-après: le Tribunal correctionnel) a condamné X._, né en Palestine en 1982, à la peine de trois ans et demi de réclusion, sous déduction de la détention préventive subie, pour appropriation illégitime, contrainte, viol qualifié au préjudice de Y._, d'origine marocaine née en France en 1987, rupture de ban, infraction et contravention à la loi fédérale sur les stupéfiants. Il a également révoqué le sursis de trois ans accordé à X._ le 21 décembre 2004 par le Tribunal de police de Genève le condamnant à la peine de deux mois d'emprisonnement sous déduction de la détention préventive subie. Il a expulsé X._ du territoire suisse pour une durée de dix ans, donné acte de ses réserves civiles à Y._, condamné X._ au paiement de 10'000 fr. à cette dernière au titre de réparation du tort moral, et ordonné la confiscation et la destruction du couteau Opinel séquestré. Il a en revanche libéré X._ des chefs d'accusation de mise en danger de la vie d'autrui et de vol. Les faits retenus sont en substance les suivants. X._ a séjourné en Suisse, entre le 4 janvier et le 18 mars 2005, alors qu'il était frappé d'une expulsion judiciaire du territoire suisse valable trois ans depuis le 21 décembre 2004. Pendant la même période, il s'est livré régulièrement au commerce d'herbes de cannabis, qu'il vendait à raison de trois ou quatre fois par semaine. Il consommait également deux à trois fois par semaine de la cocaïne, de l'héroïne et plus régulièrement de l'herbe de cannabis. A Lausanne, le 17 mars 2005, vers cinq heures du matin, Y._ a quitté l'établissement W._ en compagnie de X._ et de Z._. Devant le domicile de celui-ci, X._ a contraint Y._ à monter dans l'appartement en la menaçant d'un couteau. Arrivé sur place, il l'a entraînée dans la salle de bains, l'a embrassée, l'a touchée sur tout le corps, puis lui a ordonné de se déshabiller. Devant le refus de celle-ci, X._ l'a à nouveau menacée avec le couteau, puis l'a giflée et lui a tiré les cheveux, avant de la déshabiller par la force, de la pousser contre le lavabo et de la pénétrer à plusieurs reprises. Au cours de ces faits, X._ s'est emparé du sac à main de Y._, contenant 150 fr. et divers objets personnels. A Lausanne, le 17 mars 2005, vers cinq heures du matin, Y._ a quitté l'établissement W._ en compagnie de X._ et de Z._. Devant le domicile de celui-ci, X._ a contraint Y._ à monter dans l'appartement en la menaçant d'un couteau. Arrivé sur place, il l'a entraînée dans la salle de bains, l'a embrassée, l'a touchée sur tout le corps, puis lui a ordonné de se déshabiller. Devant le refus de celle-ci, X._ l'a à nouveau menacée avec le couteau, puis l'a giflée et lui a tiré les cheveux, avant de la déshabiller par la force, de la pousser contre le lavabo et de la pénétrer à plusieurs reprises. Au cours de ces faits, X._ s'est emparé du sac à main de Y._, contenant 150 fr. et divers objets personnels. B. Par arrêt du 11 juillet 2006, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud (ci-après: la Cour de cassation pénale) a rejeté le pourvoi formé par X._ et a confirmé le jugement attaqué. B. Par arrêt du 11 juillet 2006, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud (ci-après: la Cour de cassation pénale) a rejeté le pourvoi formé par X._ et a confirmé le jugement attaqué. C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt rendu par la Cour de cassation pénale le 11 juillet 2006, le dossier de la cause étant retourné à l'autorité cantonale pour nouvelle instruction et nouveau jugement dans le sens des considérants. Il se plaint d'une constatation et d'une appréciation arbitraires des preuves ainsi que d'une violation du principe in dubio pro reo et du droit d'être entendu. Il requiert en outre l'assistance judiciaire. La Cour de cassation pénale s'est référée aux considérants de son arrêt. Le Ministère public s'est également rapporté aux considérants de l'arrêt attaqué, ainsi qu'à son préavis du 26 juin 2006. Y._ a conclu au rejet du recours. 