Faits: A. X._ et Y._ ont été actionnaires de la société A._ SA, laquelle faisait partie d'un groupe de sociétés spécialisées dans le domaine médical, le "Groupe X._", dont X._ était l'actionnaire principal. Au mois de décembre 1991, Y._ a été suspendu de son droit de pratiquer la médecine en raison de fautes professionnelles graves ayant entraîné l'ouverture d'une procédure pénale à son encontre. Le 29 septembre 1992, les parties ont passé une convention destinée à régler leurs prétentions pécuniaires réciproques. Selon le ch. 1 de l'accord, Y._ cède irrévocablement toutes ses actions de A._ SA à X._ pour un montant de 305'800 fr. Selon le ch. 3, ce dernier verse la somme de 480'000 fr. au premier pour l'achat des actions et pour diverses autres prétentions (notamment honoraires de Y._ et loyer versé par celui-ci à A._ SA). Le ch. 4 prévoit les modalités de paiement: X._ est tenu de verser un acompte de 20'000 fr. le 17 septembre 1992 (soit avant la signature de l'accord), puis 10'000 fr. par mois depuis le 25 novembre 1992, ce pendant 46 mois. Le ch. 5 de la convention se présente comme suit: "5. Le paiement est subordonné aux deux conditions suivantes: "5. Le paiement est subordonné aux deux conditions suivantes: a. Le Dr. Y._ informe par écrit les assurances concernées qu'il dégage le A._ resp. Clinique B._ SA de toute responsabilité des problèmes qui ont entraîné sa suspension en décembre 1991. Cette information écrite est envoyée aux assurances concernées avec copie au Dr. X._ jusqu'au vendredi 25 septembre 1992. a. Le Dr. Y._ informe par écrit les assurances concernées qu'il dégage le A._ resp. Clinique B._ SA de toute responsabilité des problèmes qui ont entraîné sa suspension en décembre 1991. Cette information écrite est envoyée aux assurances concernées avec copie au Dr. X._ jusqu'au vendredi 25 septembre 1992. b. Le Dr. Y._ s'engage à ne pas rester passif face aux attaques qu'il pourrait subir dans le cadre de l'enquête dirigée contre lui depuis sa suspension en décembre 1991." X._ a procédé au paiement du premier acompte de 20'000 fr. le 17 septembre 1992. Il s'est ensuite acquitté des mensualités convenues pendant 32 mois (soit une somme de 320'000 fr.), puis en a suspendu le paiement, soutenant que Y._ n'avait pas respecté les deux conditions prévues au ch. 5 de l'accord. Y._ a adressé deux réquisitions de poursuite pour le solde de 140'000 fr. La seconde réquisition, datée du 1er juillet 1997, a fait l'objet d'un commandement de payer qui a été notifié à X._ le 4 juillet 1997. Celui-ci a formé opposition totale. Le 2 février 2002, Y._ a fait notifier à X._ un commandement de payer (poursuite ordinaire no ...) pour le même montant, lequel a à nouveau été frappé d'opposition totale. Par prononcé du 11 avril 2002, la Présidente du Tribunal d'arrondissement de Lausanne a rejeté la requête de mainlevée déposée par Y._. La Cour des poursuites et faillites du Tribunal cantonal a admis le recours exercé par ce dernier et réformé le prononcé en ce sens que la mainlevée provisoire de l'opposition a été accordée, à concurrence de 140'000 fr. B. Le 14 octobre 2002, X._ a ouvert une action en libération de dette auprès de la Cour civile du Tribunal cantonal vaudois, concluant à ce que cette autorité dise que le demandeur n'est pas le débiteur du défendeur du montant de 140'000 fr. et qu'elle maintienne définitivement l'opposition formée par le demandeur. Le défendeur a conclu au rejet de la demande et, reconventionnellement, à ce que le demandeur soit reconnu son débiteur pour un montant de 140'000 fr. Dans un rapport du 20 mars 2008, l'expert mandaté en cours d'instruction a estimé à 22'290 fr. la valeur de la part des actions de la société A._ SA qui était détenue par le défendeur. Compte tenu de la valeur arrêtée par l'expert, le demandeur en a déduit qu'il se trouvait dans l'erreur en acceptant le prix global de 480'000 fr. convenu dans l'accord du 29 septembre 1992. Le 14 mai 2008, le conseil du demandeur a alors informé le défendeur qu'il entendait invalider la convention et réclamer le montant d'ores et déjà versé; le même jour, il a en outre notifié au conseil du défendeur une déclaration d'invalidation de la convention au sens de l'art. 31 CO. Dans une réplique complémentaire après réforme du 7 octobre 2008, le demandeur a confirmé ses conclusions du 14 octobre 2002 et en a ajouté une visant à ce que le défendeur lui rembourse le montant de 340'000 fr. déjà versé. Il a expressément soulevé les exceptions de compensation et de prescription. Par jugement du 19 juin 2009, la Cour civile vaudoise a rejeté les conclusions du demandeur et fait droit à la conclusion reconventionnelle du défendeur en paiement du solde des mensualités dues, soit un total de 140'000 fr., avec intérêt à 5% l'an dès le 25 avril 1996. La Cour civile a considéré que le demandeur avait échoué à rapporter la preuve qu'il se trouvait dans une erreur essentielle au sens des art. 23 et 24 al. 1 ch. 4 CO lors de la conclusion du contrat. Elle a retenu que la prescription décennale (art. 127 CO) n'était pas acquise et ajouté que, à supposer la prescription quinquennale (art. 128 CO) applicable, elle aurait été valablement interrompue par la procédure de poursuite initiée le 1er juillet 1997. Quant aux deux conditions inscrites dans la convention (ch. 5), la Cour civile a jugé que le demandeur ne pouvait s'en prévaloir pour invalider l'accord et qu'il ne pouvait se baser sur la deuxième de ces conditions (ch. 5b) pour retenir sa propre prestation (soit le paiement du montant de 140'000 fr.) en invoquant l'art. 82 CO. 