Faits: Faits: A. B._ était propriétaire de la parcelle n° 1.... de la Commune d'Essertines-sur-Rolle, comprenant une maison d'habitation garnie de meubles. Les époux A._ se sont intéressés à acquérir cet immeuble que B._ souhaitait vendre au prix de 650'000 fr. Ils ont proposé de louer la propriété pendant deux ou trois ans, de conclure un pacte de préemption, d'entretenir la maison et le domaine et de déduire le loyer mensuel de 1'000 fr. du prix de vente, s'ils achetaient l'immeuble. Le représentant de B._ a marqué son accord de principe sur les conditions d'occupation de la propriété et indiqué qu'il reprendrait contact ultérieurement pour régler les autres points. Après que les époux A._ ont emménagé, les parties ont continué à négocier les conditions de vente. Les acheteurs ont finalement accepté d'acheter l'immeuble au prix de 600'000 fr. (sans déduction des loyers) et les meubles pour 50'000 fr. Le vendeur a confirmé l'accord intervenu sur l'acquisition des meubles dans un courrier du 29 avril 1999, qu'il a remis aux acheteurs le lendemain lors de l'instrumentation du contrat de vente immobilière. Ceux-ci n'ont pas réagi à ce courrier. A. B._ était propriétaire de la parcelle n° 1.... de la Commune d'Essertines-sur-Rolle, comprenant une maison d'habitation garnie de meubles. Les époux A._ se sont intéressés à acquérir cet immeuble que B._ souhaitait vendre au prix de 650'000 fr. Ils ont proposé de louer la propriété pendant deux ou trois ans, de conclure un pacte de préemption, d'entretenir la maison et le domaine et de déduire le loyer mensuel de 1'000 fr. du prix de vente, s'ils achetaient l'immeuble. Le représentant de B._ a marqué son accord de principe sur les conditions d'occupation de la propriété et indiqué qu'il reprendrait contact ultérieurement pour régler les autres points. Après que les époux A._ ont emménagé, les parties ont continué à négocier les conditions de vente. Les acheteurs ont finalement accepté d'acheter l'immeuble au prix de 600'000 fr. (sans déduction des loyers) et les meubles pour 50'000 fr. Le vendeur a confirmé l'accord intervenu sur l'acquisition des meubles dans un courrier du 29 avril 1999, qu'il a remis aux acheteurs le lendemain lors de l'instrumentation du contrat de vente immobilière. Ceux-ci n'ont pas réagi à ce courrier. B. Le 11 juillet 2000, B._, se prévalant du contrat de vente relatif aux meubles, a saisi la Cour civile du Tribunal cantonal vaudois d'une demande en paiement de 50'000 fr. contre les époux A._. Par jugement du 3 avril 2003, notifié le 8 septembre 2003, la Cour civile a condamné solidairement les époux A._ à verser à B._ le montant de 50'000 fr. avec intérêts à 5% l'an dès le 27 juillet 2000. Par arrêt du 18 décembre 2003, communiqué aux parties le 13 avril 2004, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours en nullité formé par les époux A._. Par arrêt du 18 décembre 2003, communiqué aux parties le 13 avril 2004, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours en nullité formé par les époux A._. C. Ceux-ci exercent un recours en réforme contre le jugement du 3 avril 2003. Ils concluent à l'annulation de ce jugement et à ce que B._ soit débouté de ses conclusions. Ce dernier propose le rejet du recours. 