Faits: Faits: A. Les époux B._, de nationalité suisse, vivent aux Etats-Unis. Respectivement nés en 1924 et en 1926, ils sont propriétaires d'une maison à X._ (Vaud) depuis un peu plus de vingt ans. Quelques années avant le procès, ils y faisaient des séjours de un à quelques mois dans un appartement maintenant divisé en deux studios. L'immeuble, de trois étages, comprend actuellement deux locaux au rez-de-chaussée, un appartement de deux pièces au premier étage, deux studios, l'un au premier étage, l'autre dans les combles, ainsi qu'un appartement de quatre pièces aménagé au premier étage et dans les combles. Les époux A._, parents de deux enfants âgés aujourd'hui de huit et cinq ans, sont locataires de ce dernier appartement depuis le 1er juillet 1988. Le contrat prévoit que le bail, d'une durée initiale d'un an, se renouvelle ensuite de six mois en six mois, sauf avis de résiliation donné quatre mois à l'avance. Le loyer actuel est de 1'500 fr. Une nouvelle société s'occupe de la gérance de l'immeuble depuis le 1er janvier 2001. Le gérant et les locataires ont eu des différends à propos du remplacement d'une boîte aux lettres, du réémaillage d'une baignoire et de la réfection d'une terrasse. Une nouvelle société s'occupe de la gérance de l'immeuble depuis le 1er janvier 2001. Le gérant et les locataires ont eu des différends à propos du remplacement d'une boîte aux lettres, du réémaillage d'une baignoire et de la réfection d'une terrasse. B. Par formules du 14 février 2002, la gérance a résilié le bail de l'appartement occupé par la famille A._ pour le 1er juillet 2002, sans donner de motif. Par lettre du 1er mars 2002, les locataires ont relevé que le congé n'avait pas été motivé et annoncé à la régie leur intention de s'opposer aux travaux de rénovation de la terrasse, en lui impartissant un délai au 25 mars 2002 pour régler le problème de la baignoire. Simultanément, ils ont saisi la Commission de conciliation du district de Morges, concluant à l'annulation du congé et à ce que défense soit faite aux bailleurs d'effectuer des travaux sur la terrasse. Après avoir consigné le loyer à partir du mois d'avril 2002, les locataires ont saisi la commission de conciliation d'une seconde requête, le 13 avril 2002, qui tendait à la remise en état, voire au remplacement immédiat de la baignoire, au maintien de la consignation des loyers jusqu'à l'exécution des travaux et à une réduction de loyer de 5 % durant ce temps. La commission a tenu une première audience le 22 avril 2002. Les locataires ont reconnu la nécessité des travaux sur la terrasse. Relevant que les bailleurs souhaitaient "récupérer leur objet", l'autorité a déclaré la résiliation valable et accordé aux défendeurs une prolongation unique, de deux ans, jusqu'au 1er juillet 2004. A l'issue d'une seconde audience, le 1er juillet 2002, elle a rejeté la requête du 13 avril 2002. La commission a tenu une première audience le 22 avril 2002. Les locataires ont reconnu la nécessité des travaux sur la terrasse. Relevant que les bailleurs souhaitaient "récupérer leur objet", l'autorité a déclaré la résiliation valable et accordé aux défendeurs une prolongation unique, de deux ans, jusqu'au 1er juillet 2004. A l'issue d'une seconde audience, le 1er juillet 2002, elle a rejeté la requête du 13 avril 2002. C. Les époux B._ ont saisi le Tribunal des baux du canton de Vaud par demande du 13 mai 2002. Ils ont conclu à la validité de la résiliation, à ce qu'aucune prolongation de bail ne soit accordée à les époux A._ et à ce qu'ordre leur soit donné de quitter et rendre libre l'appartement pour le 1er juillet 2002. Ils faisaient valoir un besoin propre de l'appartement litigieux au sens de l'art. 272 al. 2 let. d CO. De leur côté, les époux A._ ont également déposé une demande devant le tribunal des baux, en date du 24 mai 2002. Leurs conclusions tendaient à l'annulation de la résiliation, subsidiairement à une prolongation de bail de quatre ans, et en tout état de cause à l'interdiction faite aux bailleurs d'effectuer des travaux de rénovation ou d'entretien importants pendant le délai de résiliation. Le 15 juillet 2002, ils ont déposé une seconde demande, à propos de la remise en état de la baignoire. Les causes ont été jointes. La seconde demande des locataires a été liquidée par transaction du 15 juillet 2002. Le 6 août 2002, les bailleurs ont été dispensés de comparaître personnellement. Le 30 août 2002, leur conseil a produit une lettre de leur part au gérant, du 5 juillet 2002, confirmant leur volonté de s'installer en Suisse dès septembre 2003 pour des raisons familiales et financières. Par jugement du 12 septembre 2002, le tribunal a annulé la résiliation de bail et rejeté toutes autres ou plus amples conclusions des parties. Les premiers juges ont considéré que le congé contrevenait aux règles de la bonne fois pour le motif que la volonté déclarée des recourants n'était qu'un prétexte; le véritable motif de la résiliation, soit l'agacement du représentant du bailleur, tenait à la fois des représailles et du mouvement d'humeur. La Chambre des recours du Tribunal cantonal vaudois a réformé ce jugement par arrêt du 16 juillet 2003. La cour cantonale a admis que les propriétaires, âgés et invoquant la nécessité de réduire leurs charges, pouvaient faire valoir un besoin urgent. Elle a écarté la thèse d'un congé de représailles au sens de l'art. 271a al. 1 let. a CO, de même que celle d'un congé abusif au sens de l'art. 271 CO. Elle a donc admis la validité de la résiliation pour le 1er juillet 2002, tout en accordant une seule et unique prolongation de bail de deux ans, soit jusqu'au 1er juillet 2004. La Chambre des recours du Tribunal cantonal vaudois a réformé ce jugement par arrêt du 16 juillet 2003. La cour cantonale a admis que les propriétaires, âgés et invoquant la nécessité de réduire leurs charges, pouvaient faire valoir un besoin urgent. Elle a écarté la thèse d'un congé de représailles au sens de l'art. 271a al. 1 let. a CO, de même que celle d'un congé abusif au sens de l'art. 271 CO. Elle a donc admis la validité de la résiliation pour le 1er juillet 2002, tout en accordant une seule et unique prolongation de bail de deux ans, soit jusqu'au 1er juillet 2004. D. Les locataires recourent en réforme au Tribunal fédéral. Ils reprennent principalement leurs conclusions en annulation du congé; subsidiairement, ils sollicitent une prolongation du contrat de quatre ans, autrement dit jusqu'au 1er juillet 2006. La Chambre des recours se réfère à ses considérants. La Chambre des recours se réfère à ses considérants. E. Par ordonnance du 31 mars 2004, le président de la 1re Cour civile du Tribunal fédéral a rejeté une requête des intimés tendant à la prolongation du délai de réponse. Ces derniers sollicitent la restitution de ce délai par courrier du 2 avril 2004. 