Faits: Faits: A. Par jugement du 30 avril 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a reconnu X._, citoyen pakistanais né en 1976, coupable de contrainte sexuelle, d'infraction à la loi fédérale sur les stupéfiants, de voies de fait et de menaces. Il l'a condamné à la peine de deux ans de réclusion, sous déduction de la détention préventive subie, ainsi qu'à l'expulsion du territoire suisse pour une durée de six ans avec sursis pendant quatre ans. A. Par jugement du 30 avril 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a reconnu X._, citoyen pakistanais né en 1976, coupable de contrainte sexuelle, d'infraction à la loi fédérale sur les stupéfiants, de voies de fait et de menaces. Il l'a condamné à la peine de deux ans de réclusion, sous déduction de la détention préventive subie, ainsi qu'à l'expulsion du territoire suisse pour une durée de six ans avec sursis pendant quatre ans. B. Les faits à la base de cette condamnation sont les suivants. B.a A Lausanne, le 24 novembre 1999, X._ et A._ ont convenu d'une passe au prix d'une dose d'héroïne. Une fois au domicile de X._, celui-ci et son ami Y._, qui l'accompagnait, ont partagé un verre de vin tandis que A._ s'injectait l'héroïne. Elle a immédiatement perdu connaissance et X._ est parvenu à la réanimer quelques minutes plus tard. Selon ses dires, elle avait les idées confuses, était paniquée et tremblait de tous ses membres. Y._ a jugé son état suffisamment critique pour suggérer à son ami de faire appel à la police ou à une ambulance. En outre, un rapport gynécologique effectué au CHUV le jour même à midi relève que A._ était somnolente. Dans ces circonstances, A._ a proposé à X._ de remettre la passe à plus tard mais celui-ci n'a rien voulu savoir et lui a fait comprendre, en baissant son pantalon et son slip, qu'il entendait entretenir immédiatement une relation sexuelle. Y._ a quitté l'appartement à ce moment-là et X._ a imposé une relation sexuelle complète à A._ avant de lui demander sans ménagement de quitter les lieux. Une fois à l'extérieur, elle a demandé de l'aide à une personne qui l'a accompagnée jusqu'à un taxi, dont le chauffeur a décidé de la conduire à la police, où elle a déposé plainte. Lors des débats, X._ a finalement reconnu, après plusieurs rétractations, avoir entretenu une relation sexuelle complète avec A._, tout en soutenant que celle-ci y avait consenti et en affirmant ne pas se souvenir s'il s'agissait d'une relation vaginale ou anale. Le Tribunal a acquis la conviction que la jeune femme avait été contrainte à un acte d'ordre sexuel et a renoncé, dans le doute, à retenir l'acte sexuel stricto sensu. B.b A Lausanne, le 12 novembre 2001, X._ a asséné une gifle à B._, qui avait été son amie intime et venait de lui signaler que leur rupture était irrémédiable. A la même occasion, il l'a en outre menacée de mort, menaces qu'il a réitérées à deux ou trois reprises jusqu'au 22 décembre 2001. Ce jour-là, X._, qui présentait une alcoolémie légèrement supérieure à 2 g. 0/00, a aperçu B._ et lui a demandé s'il pouvait la raccompagner chez elle. Devant son refus, il l'a saisie par les cheveux, l'a traînée devant l'entrée de son immeuble en lui tapant la tête contre le mur et l'a mordue à deux reprises, à la pommette droite et à la lèvre. Il l'a à nouveau menacée de mort et lui a administré une gifle sur l'arrière du crâne lorsqu'elle a demandé de l'aide. Il a de surcroît réitéré ses menaces devant la police, qui avait été alertée par une voisine. B.b A Lausanne, le 12 novembre 2001, X._ a asséné une gifle à B._, qui avait été son amie intime et venait de lui signaler que leur rupture était irrémédiable. A la même occasion, il l'a en outre menacée de mort, menaces qu'il a réitérées à deux ou trois reprises jusqu'au 22 décembre 2001. Ce jour-là, X._, qui présentait une alcoolémie légèrement supérieure à 2 g. 0/00, a aperçu B._ et lui a demandé s'il pouvait la raccompagner chez elle. Devant son refus, il l'a saisie par les cheveux, l'a traînée devant l'entrée de son immeuble en lui tapant la tête contre le mur et l'a mordue à deux reprises, à la pommette droite et à la lèvre. Il l'a à nouveau menacée de mort et lui a administré une gifle sur l'arrière du crâne lorsqu'elle a demandé de l'aide. Il a de surcroît réitéré ses menaces devant la police, qui avait été alertée par une voisine. C. Par arrêt du 23 septembre 2003, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre ce jugement, qu'elle a confirmé. S'agissant de l'appréciation des preuves, l'autorité cantonale a considéré qu'elle échappait au grief d'arbitraire, notamment en ce qui concerne l'absence de consentement de A._ pour les relations sexuelles. La cour cantonale a admis par ailleurs que le refus de retrancher du dossier les procès-verbaux d'audition de Y._ ne viole pas l'art. 6 CEDH, d'une part parce que celui-ci a été refoulé vers le Pakistan et a disparu depuis lors, ce qui justifie la prise en considération des déclarations faites en cours d'enquête même si l'accusé n'a pas eu la possibilité de l'interroger, et d'autre part parce qu'il ne constitue pas véritablement un témoin à charge. Enfin, l'autorité cantonale a estimé que la peine avait été fixée dans le respect des principes consacrés à l'art. 63 CP et ne procédait ni d'une violation de l'art. 6 par. 1 CEDH ni d'une violation de l'art. 11 CP. S'agissant de l'appréciation des preuves, l'autorité cantonale a considéré qu'elle échappait au grief d'arbitraire, notamment en ce qui concerne l'absence de consentement de A._ pour les relations sexuelles. La cour cantonale a admis par ailleurs que le refus de retrancher du dossier les procès-verbaux d'audition de Y._ ne viole pas l'art. 6 CEDH, d'une part parce que celui-ci a été refoulé vers le Pakistan et a disparu depuis lors, ce qui justifie la prise en considération des déclarations faites en cours d'enquête même si l'accusé n'a pas eu la possibilité de l'interroger, et d'autre part parce qu'il ne constitue pas véritablement un témoin à charge. Enfin, l'autorité cantonale a estimé que la peine avait été fixée dans le respect des principes consacrés à l'art. 63 CP et ne procédait ni d'une violation de l'art. 6 par. 1 CEDH ni d'une violation de l'art. 11 CP. D. X._ forme un recours de droit public contre cet arrêt. Soutenant qu'il est arbitraire et viole son droit à un procès équitable, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué. D. X._ forme un recours de droit public contre cet arrêt. Soutenant qu'il est arbitraire et viole son droit à un procès équitable, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué. E. X._ forme également un pourvoi en nullité contre cet arrêt. Il fait valoir que l'arrêt attaqué viole les art. 11 et 63 CP ainsi que 6 par. 1 et 2 CEDH et conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué. Il sollicite en outre l'effet suspensif. F. L'autorité cantonale a renoncé à se déterminer sur les recours, se référant aux considérants de son arrêt. 