Faits: Faits: A. A._ exploite, sous la raison individuelle "A._", un commerce de représentation de vins. A partir de l'année 1973, B._, un ressortissant français domicilié en France, a travaillé pour la maison A._. Son activité consistait à négocier auprès de la clientèle privée la vente de vins, dans les cantons de Fribourg et de Vaud. La rémunération de B._ se composait exclusivement d'une commission de 30 % sur le chiffre d'affaires réalisé. A cet égard, le contrat du 10 janvier 1973 signé par les parties comprenait les clauses suivantes : "3) Droit à la provision L'agent a droit à une provision (commission) sur toutes les affaires qu'il a négociées pendant la durée du contrat. Il y a aussi droit pour les affaires conclues sans son concours par le mandant pendant la durée du contrat, mais avec des clients qu'il a procurés personnellement au mandant. (.....) La provision due par le mandant est égale au 30 % (trente pour cent) du prix de vente faisant l'objet de la commande négociée par l'agent. Elle constitue la rétribution intégrale et unique de l'agent, qui ne pourra prétendre au versement d'aucune autre somme au titre de remboursement de frais, indemnité de vacances, etc., sous réserve de ce qui est stipulé sous chiffre 6 ci-dessous. (.....) 6) Frais et débours spéciaux L'agent aura droit au remboursement des frais et débours qu'il aura assumés en vertu d'instructions spéciales et écrites du mandant." Les relevés de compte établis semestriellement par A._ comportaient notamment une rubrique "vacances". Les montants y figurant constituaient des parts, en chiffres, de la commission brute de 30 %. Le 28 avril 1998, B._ a déclaré à A._ qu'il résiliait avec effet immédiat le contrat du 10 janvier 1973, en relation avec le comportement de son employeur concernant une proposition de nouveau contrat et des démarches entreprises en vue de l'obtention d'un permis de travail. Le 1er juillet 1998, B._ a fait notifier à A._ un commandement de payer portant sur la somme de 50'000 fr. plus intérêt, qui a été frappé d'opposition. Le 1er juillet 1998, B._ a fait notifier à A._ un commandement de payer portant sur la somme de 50'000 fr. plus intérêt, qui a été frappé d'opposition. B. Le 18 septembre 1998, B._ a introduit une action en justice à l'encontre de A._, demandant le paiement par ce dernier de 59'776,67 fr. avec intérêt à 5 % dès le 2 juillet 1998 et à ce que l'opposition formée par A._ au commandement de payer qu'il lui avait fait notifier soit définitivement levée. A._ a conclu à sa libération et, reconventionnellement, à ce que B._ lui paye 60'000 fr. avec intérêt à 5 % dès le 1er mai 1998. Tout en concluant au rejet des conclusions reconventionnelles, B._ a augmenté ses propres prétentions en ce sens que A._ lui doit la somme de 84'313,45 fr. plus intérêt. Par jugement du 24 mars 2004, la Cour civile du Tribunal cantonal vaudois a condamné A._ à payer à B._ le montant de 34'728,45 fr. sous déduction des charges sociales, avec intérêt à 5 % l'an dès le 2 juillet 1998, à titre de salaire afférent aux vacances pour les années 1992 à 1997. L'opposition formée par A._ au commandement de payer a été définitivement levée à concurrence de ce montant. Les autres prétentions émises par les deux parties ont été rejetées. Par jugement du 24 mars 2004, la Cour civile du Tribunal cantonal vaudois a condamné A._ à payer à B._ le montant de 34'728,45 fr. sous déduction des charges sociales, avec intérêt à 5 % l'an dès le 2 juillet 1998, à titre de salaire afférent aux vacances pour les années 1992 à 1997. L'opposition formée par A._ au commandement de payer a été définitivement levée à concurrence de ce montant. Les autres prétentions émises par les deux parties ont été rejetées. C. Contre ce jugement, A._ (le défendeur) interjette un recours en réforme au Tribunal fédéral. Il conclut à la modification de la décision entreprise dans le sens du rejet pur et simple des conclusions prises à son encontre par B._ et de la confirmation définitive de son opposition au commandement de payer notifié le 1er juillet 1998. B._ (le demandeur) propose le rejet du recours. 