Faits: A. A.a Au mois de mars 1991, C._ a remis à B._ deux montres anciennes en or d'une valeur totale de 65'000 fr. Ces montres ont été volées entre le 28 et le 30 mars 1991. Statuant sur la demande formée par C._ contre B._, la Cour civile du Tribunal cantonal vaudois, par jugement du 5 février 1997, a condamné le second à payer au premier la somme de 57'000 fr. plus intérêts à 5 % dès le 11 septembre 1991, sous déduction de 4'000 fr. d'acompte, valeur au 254 avril 1996. Le Tribunal fédéral a confirmé ce jugement par arrêt du 16 décembre 1998 (affaire 4C.509/1997). A.b Par acte écrit du 21 mars 1995, C._ a cédé à A._ sa créance contre B._. Il a été retenu qu'il n'y a pas eu de rétrocession. Le conseil de C._, Me Z._, a informé le débiteur cédé B._, par lettre du 24 septembre 1998, de l'existence de la cession, sans lui indiquer le nom du cessionnaire. Toutefois, l'avocat Z._ a adopté par la suite une attitude contradictoire, en accomplissant des actes de poursuite au nom du cédant C._ en qualité de créancier. C'est ainsi que Me Z._ a notamment fait notifier le 22 février 1999 à B._, pour C._, un commandement de payer (poursuite n° ... de l'Office des poursuites et faillites de Lavaux) la somme de 69'698 fr. plus intérêts, suivi, après opposition du débiteur, d'une requête de mainlevée. Ayant obtenu la levée définitive de l'opposition sur la base du jugement précité rendu par la Cour civile, l'avocat Z._ a requis la continuation de la poursuite; un avis de participation à la saisie a été notifié au poursuivi le 21 septembre 1999. Le 22 septembre 1999, C._ a écrit à l'office des poursuites pour demander que la saisie, prévue pour le 23 septembre 1999, soit repoussée à une date ultérieure, au motif qu'une solution transactionnelle était recherchée entre les parties. Toujours le 22 septembre 1999, l'avocat Z._ est intervenu auprès de l'office des poursuites pour faire valoir que C._ n'était que le représentant fiduciaire du véritable propriétaire de la créance, qui était A._. A.c Dans ce contexte, C._ et B._ ont conclu une convention, datée du 23 septembre 1999, qui prévoit que le premier accepte, en règlement de la poursuite n° ..., pour solde de tout compte deux billets à ordre (Eigenwechsel), à savoir un effet de 50'000 fr. payable au 28 novembre 2003 et un effet de 36'000 fr. payable au 21 décembre 2005. Le 24 septembre 1999, l'office des poursuites a avisé B._ que c'était A._, et non plus C._, qui était le créancier dans la poursuite n° .... L'opposition tardive au sens de l'art. 77 LP formée par le poursuivi contre ce changement de créancier a été définitivement rejetée selon décision du juge civil compétent prise le 21 janvier 2000. B._ s'est acquitté par acomptes auprès de l'office de la somme réclamée en poursuite, laquelle a ainsi été soldée le 13 août 2001. Il a ainsi versé, y compris les intérêts et les frais de poursuite, le montant total de 124'716 fr. 90. B. Le 3 août 2000, B._ a ouvert à l'encontre de A._ devant la Cour civile du Tribunal cantonal vaudois une première action en annulation, subsidiairement en suspension de la poursuite précitée selon l'art. 85a LP, qu'il a transformée le 17 avril 2002, après l'extinction de la poursuite, en une action en répétition de l'indu. Dans cette seconde action, le demandeur a pris la conclusion suivante: "A._ est le débiteur de B._ et lui doit immédiat paiement de la somme de Frs 124'716 fr. 90 (...) avec intérêts à 5 % dès le 10 juillet 2000". Le demandeur invoque la convention du 23 septembre 1999. Par jugement du 3 mai 2004, la Cour civile a entièrement admis l'action en répétition de l'indu, hormis le point de départ des intérêts qu'elle a fixé au 8 mai 2002. C. C.a A._ exerce un recours en réforme au Tribunal fédéral. Il conclut principalement au rejet de l'action du demandeur. A titre subsidiaire, il requiert l'annulation du jugement cantonal, la cause étant renvoyée à la cour cantonale pour nouveau jugement au sens des considérants. L'intimé propose le rejet du recours. C.b Le défendeur avait formé auprès de la Chambre des recours du Tribunal cantonal vaudois un recours en nullité contre le jugement du 3 mai 2004, qu'il a retiré le 5 novembre 2004, ce dont le Président de ladite Chambre a pris acte par arrêt du 8 novembre 2004. 