Faits: Faits: A. Le 20 septembre 2002, vers 20 heures, X._ et A._ sont entrés au Café-Restaurant Z._ à Nyon, pour y boire une bière et y manger une pizza, en guise d'apéritif. Comme cette pizza leur a été servie une bonne heure plus tard, alors que, finissant leur dernière bière, ils s'apprêtaient à partir, ils ont refusé de consommer la pizza, laissant l'argent dû pour les boissons. La serveuse a rapporté la pizza au pizzaloio, B._, qui s'est dirigé vers A._ pour lui expliquer le retard de la livraison. Le ton est monté entre les deux hommes. Alors qu'il se dirigeait vers la sortie, X._ a ceinturé le serveur, C._, qui le précédait et l'a plaqué au sol. X._, A._ et C._ se sont retrouvés à terre, le premier ayant reçu une volée de coups sans pouvoir identifier ses agresseurs. Le propriétaire de l'établissement, Y._, serait alors intervenu pour séparer les trois protagonistes. X._ a souffert d'une plaie à la pommette gauche, de plusieurs contusions au visage et d'un traumatisme mineur du genou gauche. A. Le 20 septembre 2002, vers 20 heures, X._ et A._ sont entrés au Café-Restaurant Z._ à Nyon, pour y boire une bière et y manger une pizza, en guise d'apéritif. Comme cette pizza leur a été servie une bonne heure plus tard, alors que, finissant leur dernière bière, ils s'apprêtaient à partir, ils ont refusé de consommer la pizza, laissant l'argent dû pour les boissons. La serveuse a rapporté la pizza au pizzaloio, B._, qui s'est dirigé vers A._ pour lui expliquer le retard de la livraison. Le ton est monté entre les deux hommes. Alors qu'il se dirigeait vers la sortie, X._ a ceinturé le serveur, C._, qui le précédait et l'a plaqué au sol. X._, A._ et C._ se sont retrouvés à terre, le premier ayant reçu une volée de coups sans pouvoir identifier ses agresseurs. Le propriétaire de l'établissement, Y._, serait alors intervenu pour séparer les trois protagonistes. X._ a souffert d'une plaie à la pommette gauche, de plusieurs contusions au visage et d'un traumatisme mineur du genou gauche. B. Le 1er octobre 2002, X._ a déposé une plainte pénale contre inconnu, n'ayant pas vu ses agresseurs, et contre Y._, propriétaire de l'établissement public. Le juge de l'instruction de La Côte a rendu le 10 décembre 2003 une ordonnance de non-lieu, considérant, d'une part, que l'enquête n'avait pas permis d'identifier le ou les auteurs des lésions corporelles et, d'autre part, que les articles 133 et 134 CP étaient inapplicables en l'espèce. Statuant le 23 janvier 2004 sur recours de X._, le Tribunal d'accusation du Tribunal cantonal vaudois a confirmé l'ordonnance attaquée. Statuant le 23 janvier 2004 sur recours de X._, le Tribunal d'accusation du Tribunal cantonal vaudois a confirmé l'ordonnance attaquée. C. X._ dépose un pourvoi en nullité au Tribunal fédéral contre l'arrêt du Tribunal d'accusation. Invoquant une violation des art. 123, 133 et 134 CP, il conclut à l'annulation de l'arrêt attaqué. 