Faits: A. Y._, était créancier de la société A._ Sàrl, qui est tombée en faillite. La masse lui a cédé ses prétentions contre les organes de la société. Agissant comme cessionnaire des droits de la masse, Y._, a déposé devant le Tribunal cantonal vaudois, le 5 décembre 2006, une demande en paiement dirigée contre X._ et B._, leur réclamant la somme de 203'851 fr. 65 avec intérêts à 5% l'an dès le 1er janvier 2007. S'agissant de X._, qui est domicilié dans le canton de Vaud et était gérant de A._ Sàrl, Y._, lui reproche d'avoir porté préjudice à la société dans le contexte de la cession de la brasserie C._. X._ a demandé à appeler en cause D._, afin d'exercer contre lui l'action récursoire pour le cas où il serait condamné. Il a exposé que D._ était associé gérant de la société, que lui-même avait agi en suivant ses instructions et que D._ avait, en réalité, dirigé l'opération invoquée à l'appui de la demande. Le demandeur a déclaré qu'il ne s'opposait pas à l'appel en cause. Deux tentatives de notifier la demande à D._ en Angleterre ont échoué. Il a été décidé de procéder par voie édictale et la notification a été faite par publication dans la Feuille des avis officiels. Presque simultanément, le défendeur a indiqué une nouvelle adresse en France et sollicité qu'une notification y soit tentée, ce que le juge instructeur a accepté. La notification n'a pas pu être effectuée, l'appelé en cause n'ayant pas donné suite aux convocations des autorités françaises; il a été considéré que l'on se trouvait en présence d'un refus de la notification et que celle-ci était valable. L'acte à notifier mentionne que l'appelé en cause doit élire domicile dans le canton de Vaud, à défaut de quoi il sera réputé avoir élu domicile au greffe. B. Par décision du 8 septembre 2008, le juge instructeur du Tribunal cantonal vaudois a refusé l'appel en cause, évoquant les difficultés rencontrées avec la notification et soutenant que l'appel en cause est contraire au droit fédéral, soit plus précisément au principe de la solidarité. Par arrêt du 18 mars 2009, la Chambre des recours du Tribunal cantonal vaudois a confirmé cette décision, en se fondant sur le droit maté-riel qui ferait obstacle à l'appel en cause. C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 18 mars 2009. Invoquant une violation arbitraire du droit cantonal de procédure et du droit fédéral, il conclut, avec suite de dépens, à l'admission de l'appel en cause et à ce qu'il soit autorisé à prendre des conclusions récursoires contre D._, demandant que celui-ci soit condamné à le relever de toute condamnation en capital, intérêts, frais et dépens, qui pourrait être prononcée contre lui et à ce qu'il soit dit que D._ lui doit la somme de 203'851 fr. 65 avec intérêts à 5% l'an dès le 1er janvier 2007. Subsidiairement, il a demandé que la cause soit renvoyée à la Chambre des recours. L'intimé a conclu au rejet du recours avec suite de frais et dépens. Par ordonnance du 30 septembre 2009, la Présidente de la Ire Cour de droit civil a accordé l'effet suspensif au recours. 