Faits: Faits: A. A._, propriétaire d'une villa sise à B._, est lié à X._ par un contrat de bail conclu le 23 mai 1980, tacitement renouvelable d'année en année. Le loyer s'élève, depuis 1990, à 5'500 fr. par mois. En mars 2000, le locataire a adressé à la régie en charge de l'immeuble une liste des travaux qu'il estimait nécessaires d'entreprendre dans la villa. Le 18 octobre 2000, la gérance a répondu que le propriétaire devait faire face à des frais importants et ne pouvait ainsi effectuer les travaux souhaités. Elle a, le 6 décembre 2000, proposé au locataire de bloquer le loyer et de répartir entre les parties les frais relatifs à certains travaux qui seraient entrepris. A la demande du locataire, les parties se sont réunies le 30 janvier 2001 et le 5 février 2001, le locataire a fait parvenir à la régie une liste des travaux complétée, faisant état de travaux qu'il avait déjà entrepris à ses frais. Le 11 décembre 2001, le bailleur a résilié le bail pour la prochaine échéance, soit le 30 juin 2002. Malgré la demande du locataire, le bailleur n'a pas motivé le congé. Le 11 décembre 2001, le bailleur a résilié le bail pour la prochaine échéance, soit le 30 juin 2002. Malgré la demande du locataire, le bailleur n'a pas motivé le congé. B. Le locataire a saisi, le 10 janvier 2002, la Commission de conciliation en matière de baux à loyers du district de Nyon, concluant à l'annulation du congé et, subsidiairement, à ce qu'il lui soit accordé une prolongation maximale de quatre ans. A._ a expliqué avoir un besoin propre de sa villa, évoquant ses problèmes de santé et ceux de son épouse, la volonté de se rapprocher des membres de sa famille et de s'installer en un lieu permettant la mise en place d'un système d'assistance à domicile et plus adapté que son actuel logement à L._. Par décision du 29 mai 2002, la Commission de conciliation a confirmé la résiliation et accordé une unique prolongation de trois mois, soit jusqu'au 30 septembre 2002. Statuant sur requête du locataire, le Tribunal des baux a étendu la prolongation unique au 31 décembre 2003. Le 25 février 2004, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours interjeté par X._. Le 25 février 2004, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours interjeté par X._. C. Ce dernier exerce un recours en réforme contre cet arrêt. Il conclut principalement à ce que celui-ci soit réformé en ce sens que la résiliation soit annulée et, subsidiairement, qu'une prolongation soit accordée jusqu'au 30 juin 2006. A._ propose le rejet du recours. 