Faits: Faits: A. Par jugement du 29 novembre 2002, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné J. M._ à une peine ferme de sept mois d'emprisonnement pour agression, dommages à la propriété, injure, violence ou menace contre les autorités et les fonctionnaires ainsi que pour contravention à la loi fédérale sur les stupéfiants. Il a révoqué le sursis accordé à J. M._ le 28 juin 1996 et ordonné l'exécution de dix jours d'emprisonnement. Il a enfin prononcé l'expulsion de J. M._ du territoire suisse pour une durée de cinq ans avec sursis pendant trois ans. Par arrêt du 28 mars 2003, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de J. M._ et confirmé le jugement de première instance. Par arrêt du 28 mars 2003, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de J. M._ et confirmé le jugement de première instance. B. Cet arrêt repose pour l'essentiel sur les faits suivants: B.a Le 16 avril 1999, J. M._ s'est adressé en ces termes à l'appointé G._ qui s'apprêtait à déposer un bulletin d'amende d'ordre sous l'essuie-glace d'une voiture Opel Corsa, qui était en stationnement interdit: "Toi, je te crèverai - je te percerai un jour que tu n'auras pas ton uniforme - je te retrouverai en dehors du boulot". Ensuite, alors que l'agent tentait de quitter les lieux au volant du véhicule de police, J. M._ s'est agrippé à sa veste. Le 20 novembre 1999, J. M._ a injurié deux agents de police qui verbalisaient une voiture Opel Corsa, stationnée sur une zone interdite. Son frère, A. M._, a donné une gifle à l'un d'eux, D._, qui a fait usage de son spray au poivre. L'agent D._ a alors été encerclé par des individus, dont notamment J. M._, qui l'ont bousculé et violemment frappé, en lui assenant de nombreux coups de pied et coups de poing à la nuque et dans le dos, puis en le repoussant avec force contre le véhicule de police. B.b Ressortissant espagnol, actuellement titulaire d'un permis C, J. M._ est né en 1974 à Madrid. Aîné d'une fratrie de quatre enfants, il a été élevé dans son pays d'origine par ses grands-parents paternels et y a suivi sa scolarité primaire jusqu'à l'âge de douze ans. En 1986, il est venu rejoindre ses parents en Suisse en compagnie de ses trois frères. Sa scolarité obligatoire terminée, il a entrepris une formation d'ébéniste pendant quatre ans, sans toutefois obtenir de CFC. En 1994, il a travaillé durant un an pour la commune de Pully. Puis, après quelques emplois temporaires, il a été engagé, le 11 mai 2000, en qualité de formiste dans l'entreprise F._ Sàrl, formes de découpes, à C._, pour un salaire mensuel d'environ 5'000 francs net, à l'entière satisfaction de son employeur. Sur le plan personnel, J. M._ est célibataire. Ses parents sont rentrés en Espagne, et il n'a pas d'autres attaches en Suisse que ses trois frères. A son casier judiciaire, figurent les condamnations suivantes: - le 23 juillet 1991, le Président du Tribunal des mineurs de Lausanne l'a condamné, pour infraction et contravention à la LStup, à quatre jours de détention avec sursis pendant un an; - le 9 septembre 1993, le Juge informateur de Lausanne l'a condamné, pour contravention à la LStup, à quatre jours d'arrêts avec sursis pendant un an, sursis qui a été révoqué le 28 juin 1996; - le 28 juin 1996, le Juge d'instruction de Lausanne l'a condamné, pour opposition aux actes de l'autorité, infraction et contravention à la LStup, à dix jours d'emprisonnement avec sursis pendant trois ans, ainsi qu'à une amende de 600 francs avec un délai d'épreuve et de radiation de même durée. B.c Le frère de J. M._, A. M._, qui a participé aux deux agressions, a été condamné à une peine ferme de six mois d'emprisonnement. Il a bénéficié d'une responsabilité diminuée. B.c Le frère de J. M._, A. M._, qui a participé aux deux agressions, a été condamné à une peine ferme de six mois d'emprisonnement. Il a bénéficié d'une responsabilité diminuée. C. J. M._ se pourvoit en nullité au Tribunal fédéral. Invoquant une violation des art. 63, 41 ch. 1 al. 1 et 55 al. 1 CP, il conclut à l'annulation de l'arrêt attaqué. Le Ministère public vaudois conclut au rejet du pourvoi. L'effet suspensif a été accordé au recourant le 19 janvier 2004. 