Faits: Faits: A. X._, né en 1969, consomme de la drogue depuis 1987. De 1992 à 1995, il s'est livré à un trafic de stupéfiants d'une grande ampleur, qui a porté sur 590 grammes d'héroïne, 56 grammes de cocaïne et 250 kilos de haschisch, et a ainsi réalisé un chiffre d'affaires dépassant 100'000 francs. Pour ces faits, le Tribunal correctionnel du district de Nyon l'a condamné le 13 novembre 1996, en application des art. 19 ch. 2 let. a et c et art. 19a LStup, à la peine de cinq ans de réclusion, sous déduction de soixante-six jours de détention préventive. Les juges ont décidé, non sans hésitations, "de donner encore une chance à X._, qui para[issait] s'être ressaisi et qui a[vait] surtout démontré qu'il était capable de travailler normalement et sérieusement" et ils ont suspendu la peine au profit de la poursuite d'un traitement ambulatoire en application de l'art. 44 CP. Ils ont en revanche révoqué deux sursis antérieurs et ordonné l'exécution des peines d'un mois et de trois mois d'emprisonnement, lesquelles ont été subies en 1997. A. X._, né en 1969, consomme de la drogue depuis 1987. De 1992 à 1995, il s'est livré à un trafic de stupéfiants d'une grande ampleur, qui a porté sur 590 grammes d'héroïne, 56 grammes de cocaïne et 250 kilos de haschisch, et a ainsi réalisé un chiffre d'affaires dépassant 100'000 francs. Pour ces faits, le Tribunal correctionnel du district de Nyon l'a condamné le 13 novembre 1996, en application des art. 19 ch. 2 let. a et c et art. 19a LStup, à la peine de cinq ans de réclusion, sous déduction de soixante-six jours de détention préventive. Les juges ont décidé, non sans hésitations, "de donner encore une chance à X._, qui para[issait] s'être ressaisi et qui a[vait] surtout démontré qu'il était capable de travailler normalement et sérieusement" et ils ont suspendu la peine au profit de la poursuite d'un traitement ambulatoire en application de l'art. 44 CP. Ils ont en revanche révoqué deux sursis antérieurs et ordonné l'exécution des peines d'un mois et de trois mois d'emprisonnement, lesquelles ont été subies en 1997. B. Les rapports médicaux rendus par le Dr A._ entre le 4 août 1997 et le 15 avril 1999 soulignent la grande fragilité de X._, mais observent une amélioration lente. Toutefois, le médecin a résilié son mandat en mai 1999, invoquant notamment des abus de son patient dans l'utilisation de drogues et des manquements répétés à des rendez-vous. Par décision du 20 décembre 1999, le service pénitentiaire a sommé X._ de poursuivre son traitement auprès du Dr B._. Dans un rapport du 29 août 2000, ce médecin relève que son patient avoue une consommation épisodique, mais régulière d'héroïne en fumée, facilitée par une relation de longue date avec une jeune femme qui en consomme aussi; en outre, le patient ne travaille toujours pas. Le 19 avril 2001, le Service pénitentiaire a sommé X._ de cesser toute consommation de produits psychotropes. Comme l'intéressé a continué à consommer régulièrement de l'héroïne, le Service pénitentiaire a saisi, en date du 2 septembre 2002, le Tribunal correctionnel qui a prononcé un avertissement à l'issue de son audience du 28 novembre 2002, invitant X._ à poursuivre son traitement à la méthadone et à s'abstenir de toute consommation de drogue dure. B. Les rapports médicaux rendus par le Dr A._ entre le 4 août 1997 et le 15 avril 1999 soulignent la grande fragilité de X._, mais observent une amélioration lente. Toutefois, le médecin a résilié son mandat en mai 1999, invoquant notamment des abus de son patient dans l'utilisation de drogues et des manquements répétés à des rendez-vous. Par décision du 20 décembre 1999, le service pénitentiaire a sommé X._ de poursuivre son traitement auprès du Dr B._. Dans un rapport du 29 août 2000, ce médecin relève que son patient avoue une consommation épisodique, mais régulière d'héroïne en fumée, facilitée par une relation de longue date avec une jeune femme qui en consomme aussi; en outre, le patient ne travaille toujours pas. Le 19 avril 2001, le Service pénitentiaire a sommé X._ de cesser toute consommation de produits psychotropes. Comme l'intéressé a continué à consommer régulièrement de l'héroïne, le Service pénitentiaire a saisi, en date du 2 septembre 2002, le Tribunal correctionnel qui a prononcé un avertissement à l'issue de son audience du 28 novembre 2002, invitant X._ à poursuivre son traitement à la méthadone et à s'abstenir de toute consommation de drogue dure. C. A la suite d'un rapport du 16 mai 2003 du médecin traitant, qui constatait à nouveau une grave dépendance à l'héroïne, le Service pénitentiaire a saisi le Tribunal correctionnel de l'arrondissement de la Côte par courrier du 2 juin 2003. Ce tribunal a renoncé à révoquer la suspension de l'exécution de la peine prononcée en 1996, considérant que l'exécution d'une peine de cinq ans de réclusion, quelque sept ans après la condamnation paraissait disproportionnée. Les juges relèvent que l'intéressé n'a pas récidivé dans la délinquance et a tout de même tenté de s'en sortir, ne rechutant gravement qu'en 2002. Selon le tribunal, X._ entre actuellement dans la catégorie des gens qu'il faudrait aider à mener une autre existence et qui sont incapables de renoncer à la drogue, et non plus dans celle des délinquants. C. A la suite d'un rapport du 16 mai 2003 du médecin traitant, qui constatait à nouveau une grave dépendance à l'héroïne, le Service pénitentiaire a saisi le Tribunal correctionnel de l'arrondissement de la Côte par courrier du 2 juin 2003. Ce tribunal a renoncé à révoquer la suspension de l'exécution de la peine prononcée en 1996, considérant que l'exécution d'une peine de cinq ans de réclusion, quelque sept ans après la condamnation paraissait disproportionnée. Les juges relèvent que l'intéressé n'a pas récidivé dans la délinquance et a tout de même tenté de s'en sortir, ne rechutant gravement qu'en 2002. Selon le tribunal, X._ entre actuellement dans la catégorie des gens qu'il faudrait aider à mener une autre existence et qui sont incapables de renoncer à la drogue, et non plus dans celle des délinquants. D. Le Ministère public du canton de Vaud a recouru contre le jugement du Tribunal correctionnel de l'arrondissement de la Côte. La Cour de cassation du Tribunal cantonal vaudois a cité à comparaître à son audience du 2 septembre 2003 X._, qui s'est présenté, non assisté, et qui a été entendu dans ses explications. Par arrêt du 9 février 2004, elle a admis le recours du Ministère public vaudois et réformé le jugement de première instance en ce sens qu'elle a révoqué la suspension de l'exécution de peine prononcée le 13 novembre 1996 en faveur de X._ et ordonné l'exécution de la peine de cinq ans de réclusion, sous déduction de soixante-six jours de détention préventive, infligée par le Tribunal correctionnel du district de Nyon. La Cour de cassation du Tribunal cantonal vaudois a cité à comparaître à son audience du 2 septembre 2003 X._, qui s'est présenté, non assisté, et qui a été entendu dans ses explications. Par arrêt du 9 février 2004, elle a admis le recours du Ministère public vaudois et réformé le jugement de première instance en ce sens qu'elle a révoqué la suspension de l'exécution de peine prononcée le 13 novembre 1996 en faveur de X._ et ordonné l'exécution de la peine de cinq ans de réclusion, sous déduction de soixante-six jours de détention préventive, infligée par le Tribunal correctionnel du district de Nyon. E. X._ interjette un pourvoi en nullité au Tribunal fédéral contre cet arrêt. Invoquant une violation des art. 43 ch. 5 al. 1 et 44 ch. 5 CP, il conclut à l'annulation de la décision attaquée. 