Faits: Faits: A. Par contrat conclu le 11 novembre 1994, A._ (défendeur) a remis à bail aux époux B._ (demandeurs) les locaux servant à l'exploitation de l'hôtel-restaurant X._, à Z._. Le loyer mensuel a été fixé à 14'570 fr. Il était indexé. Le contrat stipulait toutefois que le loyer ne varierait pas jusqu'au 31 décembre 1998 pour tenir compte du fait que les locataires s'engageaient à effectuer à leurs frais les travaux exigés par le service de l'hygiène publique dans un rapport du 5 septembre 1994 bien connu des parties et annexé au bail. Le 20 décembre 1994, ce service a convenu avec sieur B._ que les travaux en question seraient exécutés en deux étapes: la première, dans un délai échéant le 28 février 1995; la seconde, dans un délai expirant le 30 juin 1995. Par décision du 6 février 1995, le service de la police administrative a délivré à sieur B._ l'autorisation d'exploiter l'hôtel X._. Après une visite des locaux par la commission de salubrité publique, le conseil communal de Z._ a, par décision du 23 décembre 1997 adressée à A._, constaté que l'état général du bâtiment était dégradé et, en certains endroits, impropre à l'utilisation; en conséquence, il a ordonné des travaux d'assainissement à effectuer en deux étapes: la première, avec un délai au 28 février 1998; la seconde, avec un délai au 30 juin 1998. Par lettre recommandée du 8 avril 1998, A._ a annoncé à sieur B._ qu'il allait entreprendre, dès le 15 mai 1998, un programme de rafraîchissements consistant en l'assainissement de la cave à vins, la peinture des chambres (selon nécessité) et la révision de la toiture. Par lettre recommandée du 16 avril 1998 de leur mandataire, les preneurs, estimant les travaux envisagés par le bailleur insuffisants par rapport à ceux promis depuis trois ans et à ceux exigés par la commune de Z._, ont mis A._ en demeure de commencer l'ensemble de ces travaux au 29 avril 1998 en le menaçant, à défaut, de consigner leur loyer auprès de la Banque Y._, ce qu'ils ont d'ailleurs fait pour la première fois le 30 avril 1998. Afin de valider cette consignation, les preneurs ont saisi l'autorité régionale de conciliation d'une requête datée du 29 mai 1998 et portant sur diverses prétentions. Par acte de vente conditionnelle du 6 mai 1999, les preneurs ont acquis l'immeuble. Le transfert immobilier, intervenu le 30 juin 1999, n'a cependant pas mis un terme au litige et la présidente de l'autorité régionale de conciliation a rendu une ordonnance de non-conciliation, le 17 août 2001, informant la partie qui persistait dans sa demande qu'elle disposait d'un délai de trente jours pour saisir l'autorité judiciaire compétente. Après une visite des locaux par la commission de salubrité publique, le conseil communal de Z._ a, par décision du 23 décembre 1997 adressée à A._, constaté que l'état général du bâtiment était dégradé et, en certains endroits, impropre à l'utilisation; en conséquence, il a ordonné des travaux d'assainissement à effectuer en deux étapes: la première, avec un délai au 28 février 1998; la seconde, avec un délai au 30 juin 1998. Par lettre recommandée du 8 avril 1998, A._ a annoncé à sieur B._ qu'il allait entreprendre, dès le 15 mai 1998, un programme de rafraîchissements consistant en l'assainissement de la cave à vins, la peinture des chambres (selon nécessité) et la révision de la toiture. Par lettre recommandée du 16 avril 1998 de leur mandataire, les preneurs, estimant les travaux envisagés par le bailleur insuffisants par rapport à ceux promis depuis trois ans et à ceux exigés par la commune de Z._, ont mis A._ en demeure de commencer l'ensemble de ces travaux au 29 avril 1998 en le menaçant, à défaut, de consigner leur loyer auprès de la Banque Y._, ce qu'ils ont d'ailleurs fait pour la première fois le 30 avril 1998. Afin de valider cette consignation, les preneurs ont saisi l'autorité régionale de conciliation d'une requête datée du 29 mai 1998 et portant sur diverses prétentions. Par acte de vente conditionnelle du 6 mai 1999, les preneurs ont acquis l'immeuble. Le transfert immobilier, intervenu le 30 juin 1999, n'a cependant pas mis un terme au litige et la présidente de l'autorité régionale de conciliation a rendu une ordonnance de non-conciliation, le 17 août 2001, informant la partie qui persistait dans sa demande qu'elle disposait d'un délai de trente jours pour saisir l'autorité judiciaire compétente. B. Le 19 septembre 2001, les époux B._ ont adressé une demande à la Cour civile du Tribunal cantonal, à l'encontre de A._, en prenant les conclusions suivantes: 1. Dire et constater que les demandeurs ont droit à une baisse de loyer de 25 % au moins du 1er janvier 1995 au 30 avril 1999, subsidiairement de 35 % depuis une date postérieure au 1er janvier 1995, à dire de justice. 2. Condamner le défendeur à payer aux demandeurs, créanciers solidaires, la somme de CHF 369'410.--, avec intérêt à 5 % l'an dès le 29 mai 1998 sur CHF 180'000.--, et dès le dépôt de la présente demande sur CHF 189'410.--- 3. Sous suite de frais et dépens." Le défendeur a conclu au rejet intégral de la demande. Par jugement du 20 août 2004, la Ire Cour civile du Tribunal cantonal de la République et canton de Neuchâtel a dit que les demandeurs avaient droit à une réduction de loyer de 5% du 1er juin au 31 décembre 1997 et de 25% du 1er janvier 1998 au 31 mars 1999. Elle a condamné le défendeur à verser aux demandeurs, créanciers solidaires, le montant de 69'737 fr. avec intérêts à 5% dès le 29 mai 1998. Par jugement du 20 août 2004, la Ire Cour civile du Tribunal cantonal de la République et canton de Neuchâtel a dit que les demandeurs avaient droit à une réduction de loyer de 5% du 1er juin au 31 décembre 1997 et de 25% du 1er janvier 1998 au 31 mars 1999. Elle a condamné le défendeur à verser aux demandeurs, créanciers solidaires, le montant de 69'737 fr. avec intérêts à 5% dès le 29 mai 1998. C. Agissant par la voie du recours en réforme, le défendeur invite le Tribunal fédéral à débouter les demandeurs de toutes leurs conclusions. Les demandeurs proposent le rejet du recours. 