Faits: A. H.X._ et F.X._ sont propriétaires d'une ancienne ferme sise dans la commune de ... (VD). Par un "contrat d'adjudication de travaux" conclu le 28 février 2005, ils ont chargé Y._ (ci-après: l'entrepreneur) de transformer et d'agrandir le logement existant dans ce bâtiment. Le prix des travaux était alors estimé à 200'000 fr., hormis certaines prestations, tels les frais d'architecte, à rémunérer en sus. Un architecte a effectivement établi les plans nécessaires à la procédure du permis de construire. Les propriétaires ont reçu le 3 mai 2005 un devis de 257'200 fr. qu'ils ont refusé de signer. Les travaux ont néanmoins débuté et l'entrepreneur a reçu, sur le prix, deux acomptes au total de 140'000 fr. Les propriétaires ont aussi payé directement divers fournisseurs et sous-traitants. Par lettre du 8 février 2006 émanant de leur avocat, les propriétaires, sans sommation préalable, ont signifié à l'entrepreneur qu'ils mettaient fin au contrat avec effet immédiat, "en raison notamment mais non exclusivement des innombrables défauts affectant vos prestations, et que vous n'apparaissez pas pouvoir gérer efficacement". L'entrepreneur devait établir sa facture finale et il lui était désormais interdit d'entrer dans le bâtiment. Devant le juge de paix compétent, les propriétaires ont requis une expertise hors procès qui fut confiée à l'architecte A._. Celui-ci a rendu son rapport le 31 août 2006. Il y a énuméré de très nombreux défauts de l'ouvrage et il a aussi constaté, en stigmatisant le "dilettantisme" de l'entrepreneur, que les opérations nécessaires à la planification, à la conduite et à la surveillance d'un chantier, normalement attendues d'un entrepreneur général, n'avaient pas été accomplies. B. Le 5 février 2008, les propriétaires ont ouvert action contre l'entrepreneur devant le Tribunal civil de l'arrondissement de La Côte. Après amplification de la demande, l'entrepreneur devait être condamné à payer 99'999 fr. à titre de dommages-intérêts. L'entrepreneur a conclu au rejet de l'action. Le Tribunal a confié une nouvelle mission d'expertise à l'architecte B._; il a en outre entendu divers témoins. Ce deuxième expert a lui aussi trouvé de nombreux et importants défauts dans l'ouvrage exécuté par l'entrepreneur. Le Tribunal s'est prononcé le 30 novembre 2009. Il a constaté l'exécution défectueuse de l'ouvrage et jugé que les propriétaires avaient droit à des dommages-intérêts, principalement pour les frais d'élimination des défauts; accueillant l'action, il a condamné l'entrepreneur à payer aux propriétaires, créanciers solidaires, 69'098 fr. 65 avec intérêts dès le 7 mars 2008 et 30'900 fr. 35 avec intérêts dès le 20 mars 2009. Saisie par l'entrepreneur, la Chambre des recours du Tribunal cantonal lui a donné gain de cause le 13 avril 2011. Elle a réformé le jugement en ce sens que l'action est entièrement rejetée. Les propriétaires ont alors interjeté un recours en matière civile au Tribunal fédéral. Par arrêt du 21 décembre 2011, la cour de céans a annulé l'arrêt de la Chambre des recours et lui a renvoyé la cause pour qu'elle examine la liste des défauts et les rapports d'expertise afin de déterminer si l'entrepreneur était ou non incapable d'éliminer les défauts dans un délai convenable (arrêt 4A_518/2011, rés. in JT 2012 II 260). Par nouvel arrêt du 5 mars 2012, la Chambre des recours a tranché dans le même sens que précédemment et derechef entièrement rejeté l'action des propriétaires. Elle a retenu que l'entrepreneur "était apte à fournir des prestations minimalistes, donc à tout le moins à la limite de l'acceptable" et que dans ces circonstances, les propriétaires auraient dû lui fixer un délai avant de se départir du contrat. C. Les propriétaires (ci-après: les recourants) interjettent un recours en matière civile. Ils concluent principalement à la confirmation du jugement rendu le 30 novembre 2009 par le Tribunal d'arrondissement. L'entrepreneur (ci-après: l'intimé) conclut au rejet du recours. 