Faits: Faits: A. A.a Les 25 avril et 8 septembre 2000, B._ et C._ ont passé avec A._ une convention, par laquelle les deux premiers nommés acceptaient, sous certaines conditions, de renoncer à l'acquisition des biens-fonds feuillets ... et ... du cadastre de la commune de Vevey. L'une de ces conditions était que A._ s'engage à octroyer à D._ SA un mandat de gérance portant sur un immeuble ayant un revenu locatif annuel d'au moins 690'000 fr., appartenant si possible à l'un des clients communs des signataires ou à un client accepté par B._ et C._; la durée du mandat devait être assurée pour dix ans; en cas de résiliation du mandat pour une cause ne pouvant être imputée à D._ SA, A._ devait assurer la compensation nécessaire par l'octroi d'un mandat de gérance portant sur un autre immeuble de même rendement jusqu'à l'échéance du délai de dix ans. A.b Le 13 février 2002, B._ et C._ ont requis de A._ l'exécution de la clause litigieuse. A la suite de plusieurs échanges de correspondances et après une entrevue, A._ a proposé de confier à D._ SA dès le 1er juillet 2002 la gérance d'un de ses immeubles dans la région de Vevey-Montreux. Après acceptation de l'offre par D._ SA, A._ a toutefois refusé d'exécuter la clause litigieuse, sous prétexte d'une rupture du lien de confiance. A.b Le 13 février 2002, B._ et C._ ont requis de A._ l'exécution de la clause litigieuse. A la suite de plusieurs échanges de correspondances et après une entrevue, A._ a proposé de confier à D._ SA dès le 1er juillet 2002 la gérance d'un de ses immeubles dans la région de Vevey-Montreux. Après acceptation de l'offre par D._ SA, A._ a toutefois refusé d'exécuter la clause litigieuse, sous prétexte d'une rupture du lien de confiance. B. B.a Le 13 mars 2003, B._ et C._ et D._ SA ont ouvert action devant le Tribunal civil de l'arrondissement de Lausanne contre A._. Les demandeurs concluaient à ce que le défendeur soit reconnu débiteur de B._ et C._, solidairement entre eux, de la somme de 100'000 fr., avec intérêt à 5% l'an dès le jour de la demande et, subsidiairement, à ce que le défendeur soit reconnu débiteur de D._ SA de la somme de 100'000 fr., avec intérêt à 5% l'an dès le jour de la demande. Par jugement du 23 juin 2005, le Tribunal a prononcé que le défendeur était débiteur de D._ SA de la somme de 46'478 fr.65, avec intérêt à 5% l'an dès le 13 mars 2003. Les frais de justice ont été répartis entre les parties et le défendeur a été condamné à verser aux demandeurs la somme de 13'000 fr. à titre de dépens. B.b Saisie d'un appel du défendeur, la Chambre des recours du Tribunal cantonal vaudois a partiellement admis le recours. Elle a réformé le jugement entrepris et arrêté que, d'une part, le défendeur A._ est le débiteur de la demanderesse D._ SA et lui doit immédiat paiement de la somme de 46'478 fr.65, avec intérêt à 5% l'an dès le 13 mars 2003 et que, d'autre part, les dépens sont compensés. B.b Saisie d'un appel du défendeur, la Chambre des recours du Tribunal cantonal vaudois a partiellement admis le recours. Elle a réformé le jugement entrepris et arrêté que, d'une part, le défendeur A._ est le débiteur de la demanderesse D._ SA et lui doit immédiat paiement de la somme de 46'478 fr.65, avec intérêt à 5% l'an dès le 13 mars 2003 et que, d'autre part, les dépens sont compensés. C. Parallèlement à un recours de droit public, le défendeur exerce un recours en réforme au Tribunal fédéral. Il conclut à la réforme du jugement entrepris, en ce sens qu'il n'est pas le débiteur des demandeurs B._ et C._ et D._ SA, que les frais de justice sont arrêtés à 9'800 fr. pour les demandeurs, solidairement entre eux, et à 3'750 fr. pour lui-même et, enfin, que les demandeurs doivent lui verser la somme de 9'000 fr. à titre de dépens de première instance, solidairement entre eux, respectivement chacun dans la mesure que justice dira. Les demandeurs concluent au rejet de l'entier des conclusions prises par le défendeur. 