Faits: A. Le 27 avril 2000, Y._ a déposé une demande de permis de construire en vue d'édifier quatre groupes de villas jumelles. Cette demande a soulevé l'opposition, le 31 mai 2000, des époux X._, dont la villa était sise en amont des parcelles concernées. Le 29 août 2000, la municipalité a délivré un permis de construire, levant ainsi l'opposition au projet de construction. Par arrêt du 15 mai 2002, le Tribunal administratif vaudois a rejeté le recours formé par les époux X._ contre cette décision. Cet arrêt a fait l'objet d'un recours de droit administratif déposé par ceux-ci le 17 juin 2002 auprès du Tribunal fédéral, qui a accordé l'effet suspensif. Le 15 août 2002, les époux X._ ont passé une convention de transaction avec Y._, comprenant une clause aux termes de laquelle "Y._ se reconnaît débiteur des époux X._ d'un montant de fr. 50'000.- (...), payable à raison de fr. 10'000.- (...) à la signature de la présente convention, puis à raison de fr. 40'000.- (...) d'ici au 31 décembre 2002 au plus tard. Ces deux montants (...) seront payables en mains des époux X._". Le même jour, les époux X._ ont remis en mains de Y._ une lettre signée de leur part, adressée au Président de la Ire Cour de droit public du Tribunal fédéral, l'informant du retrait pur et simple de leur recours de droit administratif, lettre qui ne serait jamais parvenue au greffe du Tribunal fédéral. A la suite de l'intervention des époux X._ portant à la connaissance du Tribunal fédéral la lettre du 15 août 2002, le Président de la Ire Cour de droit public du Tribunal fédéral a rayé la cause du rôle par ordonnance du 3 septembre 2002. Le 18 février 2003, Y._ a obtenu le permis de construire définitif et exécutoire nécessaire à son projet de construction. Par lettre du 6 décembre 2002, les époux X._ ont réclamé à Y._ le paiement de la somme résiduelle de 40'000 fr. dans un délai échéant le 31 décembre 2002, conformément à la convention de transaction du 15 août 2002. Y._ a refusé de payer cette somme aux époux X._, au motif que ladite convention était "illicite, faute d'intérêt digne de protection, contraire aux moeurs en application de l'article 20 CO". Le 4 avril 2003, les époux X._ ont déposé une réquisition de poursuite contre Y._ pour la somme de 40'000 fr. avec intérêt à 5 % l'an dès le 1er janvier 2003, en invoquant comme cause de l'obligation la convention de transaction du 15 août 2002. Par décision du 9 décembre 2003, le Président du Tribunal d'arrondissement de Lausanne a prononcé la mainlevée provisoire de l'opposition formée par Y._ à concurrence de 40'000 fr. plus intérêt à 5 % l'an dès le 1er janvier 2003, décision confirmée par la Cour des poursuites et faillites du Tribunal cantonal vaudois le 10 juin 2004. B. Le 30 juin 2004, Y._ a saisi le Tribunal d'arrondissement de Lausanne d'une demande tendant à ce qu'il soit dit qu'il ne doit pas aux époux X._, solidairement entre eux, la somme de 50'000 fr., ni aucune autre somme, en capital, intérêts et/ou frais, et que l'opposition formée au commandement de payer y relatif est maintenue. En cours d'instance, le Président du Tribunal d'arrondissement de Lausanne a chargé un expert d'examiner si la construction des villas jumelées sur les parcelles de Y._ représentait pour les époux X._ un minimum de 50'000 fr. de moins-value, en matière de valeur vénale, pour ce qui était à l'époque leur maison. Le rapport d'expertise, daté du 28 juillet 2006, mentionnait notamment que lors de l'acquisition par sieur X._ de sa parcelle, en 1989, les terrains en aval avaient déjà été colloqués en zone villas et que le risque de se faire déposséder en tout ou partie de la vue était bien réel. Le prix d'acquisition devait donc en tenir compte, ce qui était très probablement le cas. L'expert relevait en outre que l'implantation des villas sur la parcelle de Y._ était plutôt favorable par rapport à celle des époux X._, laissant une vue magnifique depuis la piscine. Selon lui, "la situation réelle après mise en valeur des terrains en aval, est moindre que le risque que l'acquéreur de la parcelle (des époux X._) a pris lors de l'acquisition de son bien (en fonction de l'implantation la plus défavorable)". Il en concluait que la différence de valeur entre la parcelle des époux X._ avec la vue intégrale et la vue "entachée" par les villas en aval était au moins égale à 50'000 fr. mais que, partant du principe que le risque encouru par l'acquéreur de ladite parcelle était nettement antérieur à l'acquisition de celle-ci, ce montant était déjà "déduit" ou aurait dû l'être lors de l'acquisition en 1989. Par jugement du 2 mars 2007, le Tribunal civil de l'arrondissement de Lausanne a dit que Y._ ne devait pas aux époux X._, solidairement entre eux, la somme de 40'000 fr. et maintenu l'opposition formée par celui-là au commandement de payer y relatif. Il a considéré que la moins-value invoquée par les époux X._ en matière de valeur vénale pour ce qui était à l'époque leur maison n'avait pas été établie, que la rémunération convenue entre les parties était essentiellement liée au retrait par ceux-ci de leur recours au Tribunal fédéral et qu'elle ne constituait dès lors pas une compensation à un préjudice occasionné par le projet de construction. Il a ainsi admis que les époux X._ avaient monnayé à l'égard de Y._ une position juridique purement formelle, en vue de diminuer le dommage qu'il aurait subi par suite du retard dans la réalisation de son projet, de sorte que la convention de transaction devait être tenue pour contraire aux moeurs et déclarée nulle, et l'opposition au commandement de payer maintenue. Par arrêt du 25 octobre 2007, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours déposé par les époux X._ et confirmé le jugement du 2 mars 2007. Considérant qu'il s'agissait de déterminer si la rémunération prévue par la convention tendait à indemniser les recourants d'un préjudice lié au projet de l'intimé, elle a retenu que sur la base des propos de l'expert, l'on ne pouvait faire grief aux premiers juges d'avoir considéré que la moins-value liée à une diminution de la vue résultant de la construction de villas en aval existait au moment de l'achat de leur parcelle par les recourants et que cet aspect avait déjà joué un rôle pour la fixation du prix qu'ils avaient payé à l'époque. Par ailleurs, l'expert avait indiqué que l'implantation des deux villas sur la parcelle de l'intimé était plutôt favorable aux recourants, dès lors que leur vue aurait pu être réduite plus fortement. Enfin, le tribunal avait relevé que le bien des recourants avait subi une plus-value puisqu'acquis en 1989 pour 900'000 fr., il avait pu être revendu treize ans plus tard pour 1'080'000 fr. Ces différents éléments conduisaient à retenir que les recourants n'avaient pas subi de préjudice consécutif au projet de l'intimé. La convention du 15 août 2002 ne visait donc pas à indemniser les recourants d'un dommage, un tel dommage n'étant pas établi. Au vu de ce qui précédait, c'était à raison que les premiers juges étaient parvenus à la conclusion que ladite convention était prohibée par l'art. 20 al. 1 CO. C. Les époux X._ (les recourants) interjettent un recours en matière civile au Tribunal fédéral. Ils concluent principalement à la réforme de l'arrêt du 25 octobre 2007 en ce sens qu'il est constaté que Y._ est leur débiteur et leur doit immédiat paiement de la somme de 40'000 fr. avec intérêt à 5 % l'an dès le 1er janvier 2003, ainsi qu'à la levée définitive de l'opposition au commandement de payer y relatif, subsidiairement à l'annulation de l'arrêt et au renvoi de la cause à la cour cantonale - plus subsidiairement aux premiers juges - pour nouvelle décision dans le sens des considérants, avec suite de frais et dépens. Y._ (l'intimé) propose le rejet du recours, sous suite de frais et dépens. 