Faits : Faits : A. A.a Selon contrat de bail du 17 août 1997, Y._ a mis à la disposition de X._ des locaux se trouvant dans l'immeuble « A._ » et destinés à l'exploitation d'une école hôtelière, moyennant un loyer représentant 20 fr. par élève et par jour à concurrence de quarante élèves sur l'ensemble de l'année fixée à trois cents jours. Ainsi, le plafond annuel du loyer prévu par le contrat était de 240'000 fr. Par ailleurs, il a été convenu qu'il serait fixé ultérieurement une contribution spéciale pour les élèves ne résidant pas dans l'immeuble, mais profitant, durant la journée, des infrastructures de celui-ci. Les locaux ainsi loués pouvaient loger au moins trente-cinq élèves. A.b Par courrier du 31 juillet 1999, X._ a fait part de son intention de « résilier le contrat de location existant pour le 31 janvier 2000 », en indiquant que « nous comptons quitter A._ à la fin du mois de novembre 1999 ». Cette résiliation, hors délai, a finalement été acceptée par Y._. Du 1er janvier au 31 octobre 1999, X._ s'est acquitté d'un loyer représentant 145'200 fr. Du 1er novembre 1999 au 30 janvier 2000, X._ a mis à disposition d'au moins trente-cinq élèves une chambre à l'Hôtel B._, ce qui a représenté 1'623 nuitées jusqu'au 31 décembre 1999 et 1'050 nuitées jusqu'au 30 janvier 2000. Au cours de cette période, X._ a versé à Y._ la somme de 7'800 fr. à titre de loyer. Ainsi, dès le mois de novembre 1999, X._ n'a plus logé d'élèves dans les locaux loués. D'un commun accord entre les parties, le contrat les liant a pris fin le 31 janvier 2000 et les locaux ont été restitués au bailleur au plus tôt le 30 janvier 2000. Par courrier du 10 mai 2000, Y._ a interpellé X._ pour obtenir le paiement de la créance qu'il détenait envers lui. Par courrier du 10 mai 2000, Y._ a interpellé X._ pour obtenir le paiement de la créance qu'il détenait envers lui. B. B.a Par requête adressée le 30 juillet 2003 au Tribunal des baux du canton de Vaud, Y._ a actionné X._ en paiement de la somme de 36'000 fr. - prétention augmentée ultérieurement à 45'660 fr. - plus intérêts à 5% l'an dès le 1er mars 2000, à titre d'arriéré de loyer pour les mois de novembre 1999, décembre 1999 et janvier 2000. Le défendeur a conclu au rejet de la requête. B.b Par jugement du 29 juin 2005, le Tribunal des baux a condamné le défendeur, avec suite de frais et dépens, à payer au demandeur la somme de 45'660 fr. plus intérêts à 5% l'an dès le 11 mai 2000. Le Tribunal a considéré en bref qu'il résultait tacitement du contrat que le locataire avait l'obligation d'utiliser prioritairement les locaux loués pour loger les élèves inscrits auprès de son école et que c'est en fonction du nombre d'élèves logés que le loyer était déterminé. Le loyer pour les trente-cinq élèves que les locaux loués auraient pu abriter, si le locataire n'avait pas choisi de les loger à l'Hôtel B._, représentait pour la période du 1er novembre au 31 décembre 1999 un montant de 32'460 fr. (20 fr. x 1'623 nuitées) - qui, additionné au loyer de 145'200 fr. payé pour la période du 1er janvier au 31 octobre 1999, donnait un montant inférieur au plafond annuel du loyer convenu - et pour celle du 1er au 30 janvier 2000 un montant de 21'000 fr. (20 fr. x 1'050 nuitées). C'est donc un montant de 45'660 fr. que le défendeur, après déduction des 7'800 fr. déjà versés, devait au demandeur. B.c Statuant sur recours du défendeur, la Chambre des recours du Tribunal cantonal du canton de Vaud a confirmé le jugement de première instance par arrêt du 6 juillet 2006. B.c Statuant sur recours du défendeur, la Chambre des recours du Tribunal cantonal du canton de Vaud a confirmé le jugement de première instance par arrêt du 6 juillet 2006. C. Agissant par la voie du recours en réforme au Tribunal fédéral, le défendeur conclut avec suite de frais et dépens principalement à la réforme de cet arrêt, en ce sens que les conclusions du demandeur soient rejetées. À titre subsidiaire, il conclut à l'annulation du jugement de première instance, et plus subsidiairement encore à ce que le montant qu'il doit verser au demandeur soit réduit à 14'540 fr. avec intérêts à 5 % l'an dès le 7 avril 2003. Le défendeur a conclu avec suite de frais et dépens au rejet du recours, en précisant qu'il renonçait à se déterminer spécifiquement sur les éléments figurant dans l'acte de recours. 