Faits: A. Y._ et Z._, qui exploitaient ensemble à V._ (Fribourg) un magasin de meubles à l'enseigne "...", ont annoncé dans la presse, au mois de janvier 2001, qu'ils souhaitaient remettre leur commerce. Intéressé par cette offre, X._ s'est rendu plusieurs fois sur place, en avril, juin et juillet 2001, et a eu des entretiens avec les proposants vendeurs. Il a reçu notamment un inventaire provisoire et un budget annuel prévisionnel. Il a demandé différents renseignements. Le 21 juillet 2001, les parties ont signé un contrat de vente portant sur le magasin de meubles avec son stock, à l'enseigne "..." à V._, pour un prix de vente net de 150'000 fr., dont une partie (50'000 fr.) était financée par un prêt du vendeur. Le même jour, un contrat de prêt de 50'000 fr. a été signé entre Y._ et X._; un inventaire provisoire ainsi que les clés du commerce ont été remis à ce dernier. Le 25 juillet 2001, X._ a versé 40'000 fr. sur le prix de la vente. Le 22 août 2001, il a fait inscrire la raison de commerce "..." au Registre du commerce de la Sarine en indiquant le 1er septembre 2001 comme date du début de l'activité. Le 28 août 2001, X._ et le bailleur des locaux, A._, ont conclu un contrat de bail pour une durée de cinq ans. Assez rapidement, X._ s'est rendu compte que son chiffre d'affaires ne correspondait pas à ses attentes. Par courrier du 21 octobre 2001, il a fait part à Y._ et Z._ de ses inquiétudes, qualifiant même la situation de catastrophique. Les rapports entre les parties se sont alors rapidement dégradés. La situation du commerce de meubles ne s'étant jamais améliorée, X._ a finalement fermé le magasin de V._. Les locaux ont pu être loués rapidement. La raison de commerce a été radiée le 7 novembre 2002. B. A la requête de Y._, l'Office des poursuites d'Echallens a notifié à X._, le 15 janvier 2002, un commandement de payer, auquel il a été fait opposition. Dans la procédure de mainlevée provisoire, X._ a obtenu partiellement satisfaction, le contrat de prêt conclu entre les parties ayant été qualifié de vente par acomptes. Le 7 mars 2003, X._ a déposé une plainte pénale pour escroquerie à l'encontre de Y._ et de Z._. Une ordonnance de refus d'ouvrir l'action pénale a été rendue, qui a été confirmée, sur recours, par la Chambre pénale du Tribunal cantonal fribourgeois le 25 juillet 2003. Le 10 mars 2003, X._ a déposé une demande devant le Tribunal civil de l'arrondissement de la Broye et du Nord vaudois, concluant à ce qu'il soit constaté qu'il ne devait pas le solde du prix de vente, que son opposition devait être définitivement maintenue et que ses parties adverses devaient être condamnées à lui restituer l'acompte de 40'000 fr. qu'il avait versé. Le président du Tribunal a ordonné une expertise et désigné à cette fin la société B._ SA. L'expert, en la personne de C._, a conclu que la valeur marchande du commerce était comprise entre 70'000 et 116'000 fr. Il n'a pas pu répondre à de nombreuses questions en raison de la carence de pièces probantes. Par jugement du 31 mars 2009, le Tribunal civil a dit que X._ était le débiteur de Y._ et de Z._ de la somme de 104'384 fr.80 avec intérêts, statuant par ailleurs sur le sort des poursuites en cours, ainsi que sur les frais et dépens. Sur recours de X._, la Chambre des recours du Tribunal cantonal vaudois, par arrêt du 27 juillet 2009, a confirmé le jugement attaqué avec suite de frais. C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 27 juillet 2009. Invoquant la violation de diverses dispositions du droit fédéral, il conclut, sous suite de frais et dépens, à la réforme de l'arrêt attaqué en ce sens qu'il ne doit rien à ses parties adverses et que son opposition aux poursuites est définitivement maintenue. Les intimés ont conclu, sous suite de frais et dépens, au rejet du recours dans la mesure où il est recevable. 