Faits: A. Statuant par jugement du 15 avril 2005 dans le cadre d'une action en paiement du solde du prix de vente d'un immeuble ainsi que d'intérêts conventionnels et moratoires, la Cour civile du Tribunal cantonal vaudois a prononcé que l'action en libération de dette de B._ déposée le 29 juin 2000, modifiée par réplique complémentaire du 16 mars 2004, était très partiellement admise (I), que B._ devait payer à A._ la somme de 311'147 fr. 30 avec intérêt à 6 % l'an dès le 8 janvier 2000, dont à déduire 74'979 fr., valeur 6 septembre 2002 (II) et que l'opposition formée par B._ au commandement de payer qui lui avait été notifié par l'Office des poursuites de Lausanne-Est était définitivement levée à concurrence de la somme et des intérêts alloués sous chiffre II (III). Par arrêt du 9 décembre 2005, la Cour de céans a déclaré irrecevable le recours en réforme interjeté par A._ contre cette décision. Elle a considéré que, bien qu'invoquant formellement l'art. 8 CC, en ce qu'il a plus particulièrement trait au droit à la preuve, ainsi que des dispositions du droit cantonal de procédure (réd.: art. 6 et 163 al. 1 du Code de procédure civile du canton de Vaud du 14 décembre 1966 - ci-après: CPC/VD) qui n'avaient pas leur place dans un recours en réforme, A._ présentait une argumentation qui relevait davantage de la demande d'interprétation, voire de la demande de révision, qui devait être adressée à l'autorité cantonale compétente, conformément au code de procédure civile cantonal. En définitive, force était de constater que l'on ne voyait pas trace de violation du droit fédéral dans les griefs de celui-ci, dont le recours devait par conséquent être déclaré irrecevable. B. Le 19 janvier 2006, A._ a déposé un recours en nullité au Tribunal cantonal contre le jugement de la Cour civile du 15 avril 2005. Par arrêt du 28 avril 2006, la Chambre des recours du Tribunal cantonal vaudois a écarté le recours et dit que l'arrêt était exécutoire. Elle a retenu que A._ fondait la recevabilité de son recours sur l'art. 451a al. 3 CPC/VD, qui dispose que, lorsque le Tribunal fédéral saisi d'un recours en réforme contre un jugement principal de la Cour civile le déclare irrecevable en raison de la nature de la cause, du droit applicable ou de l'insuffisance de la valeur litigieuse, les parties peuvent encore recourir au Tribunal cantonal contre ledit jugement dans les dix jours dès la communication de l'expédition complète de l'arrêt du Tribunal fédéral. Elle a considéré d'une part que l'art. 451a al. 3 CPC/VD n'ouvrait que le recours en réforme au Tribunal cantonal, non le recours en nullité. Cela résultait de l'exposé des motifs et de la place de cette disposition, dans la subdivision III, chapitre premier du titre XV du CPC/VD (voir la note marginale ad art. 451 CPC/VD). La limitation de cette voie de recours subsidiaire au recours en réforme correspondait du reste au système des recours visant un jugement principal de la Cour civile: le jugement doit être attaqué d'abord par un recours (immédiat) en nullité au Tribunal cantonal, l'éventuel recours fédéral en réforme n'étant examiné qu'une fois connu le sort du recours cantonal en nullité (art. 57 OJF). La décision sur le recours fédéral en réforme intervient donc alors que la voie du recours cantonal en nullité est épuisée. Pour ce premier motif, le recours était irrecevable. Elle a retenu d'autre part que cette voie subsidiaire de recours n'était ouverte que dans trois hypothèses, limitativement énumérées par la loi. L'irrecevabilité devait découler de la nature de la cause, du droit applicable ou de l'insuffisance de la valeur litigieuse. En l'espèce, il s'agissait bien d'une contestation civile, la valeur litigieuse atteignait le seuil de 8'000 fr. (arrêt du Tribunal fédéral, p. 5) et le droit applicable était le droit fédéral. Aucune des hypothèses prévues par l'art. 451a al. 1 CPC/VD n'étant réalisée, le recours était irrecevable et le serait aussi s'il tendait à la réforme. C. A._ (le recourant) interjette un recours de droit public au Tribunal fédéral contre l'arrêt de la Chambre des recours du 28 avril 2006. Invoquant les art. 6 par. 1 CEDH, 5 al. 1, 9, 29, 30 et 36 al. 1 Cst., il se plaint de la violation du principe de la légalité, de l'interdiction du déni de justice formel et de la prohibition de l'arbitraire. Il conclut à l'annulation de la décision attaquée, avec suite de frais et dépens. B._ (l'intimé) propose le rejet du recours dans la mesure où il est recevable, sous suite de frais et dépens. Pour sa part, la cour cantonale se réfère aux considérants de son arrêt. L'effet suspensif au recours, sollicité par le recourant, a été accordé à titre superprovisoire le 13 septembre 2006 et maintenu par ordonnance présidentielle du 20 octobre 2006. 