Faits: A. A.a Par acte de vente du 14 mai 2004, instrumenté par le notaire A._, Y._, avocat de profession, a vendu pour le prix de 315'000 fr. à H.X._ et F.X._ la parcelle n° 1378 de la Commune de ... (Valais) sur laquelle est érigé un chalet. Le chiffre 3 des conditions de vente stipulait que le chalet était vendu, meublé et agencé, dans son état actuel, tel qu'il était connu des acheteurs, sans garantie, « sous la seule réserve de l'article 199 du Code des obligations (défauts frauduleusement dissimulés) ». Le chiffre 7 des mêmes conditions précisait que l'immeuble vendu était situé dans la zone à bâtir de la Commune de .... Les époux X._ ont pris possession du chalet le 28 mai 2004. Par courriel du 1er juin 2004, H.X._ a avisé Y._ qu'il avait découvert avec stupéfaction la très forte inclinaison du chalet, constatée le même jour par un menuisier au moyen d'un niveau. Mandaté par H.X._, l'architecte B._ a relevé, dans un rapport du 22 juin 2004, que le chalet présentait une déformation de 17 cm entre les angles sud-est et sud-ouest du balcon du rez-de-chaussée, que l'intérieur souffrait du même problème et que le sol de l'étage subissait encore plus cette déformation; il a estimé le coût de la remise à niveau à 20'000 fr., les défauts non corrigibles représentant une moins-value de 18'000 fr. A.b Il a été constaté que le chalet susmentionné avait été bâti par Y._ en 1972, lequel l'avait agrandi en 1977. Le précité a affirmé qu'il n'a jamais eu conscience d'un problème d'inclinaison affectant une dalle et que les nombreux hôtes qu'il a accueillis dans le cottage n'ont rien remarqué à ce propos. Il a ainsi été retenu que C._, qui est une amie de Y._ et a effectué de nombreux séjours dans le chalet, n'avait pas été consciente du défaut de planéité. Le paysagiste D._, qui entretenait les extérieurs depuis 1991 ou 1992, a déclaré avoir pénétré moult fois dans le séjour du chalet sans déceler d'anomalie au niveau des sols et sans que le vendeur lui ait parlé de quoi que ce soit à ce propos. E._, qui a séjourné régulièrement dans le chalet durant dix à quinze ans, n'a pas remarqué de malfaçon relative à l'inclinaison et a assuré que Y._ n'avait jamais fait état d'un problème de cette nature. En 1992, le chalet avait été estimé par un architecte à 325'000 fr., compte tenu d'un coefficient de vétusté de 20%, sans qu'il soit fait mention d'un défaut. Les amateurs qui ont visité le chalet à partir de 2001 n'ont pas remarqué de problème d'inclinaison de dalle. Avant de signer l'acte de vente, les conjoints X._ ont visité le chalet à trois reprises, la première fois pendant une demi-heure, les fois suivantes durant une heure et demie. Ils ont fait remarquer à Y._ que le lamage de la façade n'était pas posé correctement. Ils ont en outre manifesté au vendeur leur intention d'entreprendre des transformations, pour un coût de l'ordre de 70'000 fr. à 80'000 fr. Le directeur d'une banque sollicitée par les acheteurs pour leur octroyer un crédit hypothécaire a établi le 19 avril 2004 un rapport d'estimation du chalet après s'y être rendu. Il a arrêté la valeur vénale du bâtiment à 289'200 fr., celle du terrain à 44'500 fr., soit 890 m2 à 50 fr. par m2, plus 33'500 fr. pour le mur de soutènement, le goudronnage et le couvert, d'où un total de 367'200 fr. Ce document, à usage exclusif de la banque, mentionnait que les acquéreurs avaient l'intention de rénover le chalet à leurs frais en investissant 35'000 fr. de matériel et que la parcelle se trouvait en zone verte; il n'était pas fait même allusion au défaut de planéité du plancher. A.c Le 3 août 2004, les conjoints X._ ont introduit une requête de preuve à futur tendant à établir l'existence des défauts affectant le chalet et le coût des travaux de réfection. Dans leur rapport d'expertise du 17 mars 2005, l'ingénieur civil EPFL G._ et l'architecte HES H._ ont affirmé que le défaut d'horizontalité du chalet, provenant de la construction, ne présentait aucun danger, la stabilité générale n'étant pas menacée. Ils ont constaté que la dalle du rez-de-chaussée penchait d'est en ouest d'environ 15 cm et du nord au sud de 3 à 4 cm et que tant le plafond que la terrasse du rez-de-chaussée présentaient une déclivité de l'ordre de 1,5 %. Les experts ont estimé les coûts de la remise en état des planchers et plafonds à 16'200 fr. en tout. Ils n'ont pas pu déterminer la cause de l'inclinaison de la chape du chalet, mais ont émis l'hypothèse qu'un tassement a pu se produire quand le chalet a été agrandi. A.d Entre le 12 et le 14 août 2004, lorsque les époux X._ ont souhaité mettre à l'enquête l'ouverture d'une fenêtre, ces derniers ont prétendu avoir découvert de manière fortuite que la parcelle qu'ils avaient acquise par contrat du 14 mai 2004 se situait non en zone à bâtir, mais en zone agricole. B. B.a Par demande du 16 août 2004, H.X._ et F.X._ ont ouvert devant les autorités valaisannes contre Y._ action en réduction du prix en raison des défauts présentés par la chose vendue. A titre d'indemnités pour les moins-values entraînées par l'inclinaison du chalet, la situation du chalet en zone agricole et les frais engendrés notamment par l'effondrement d'un mur arrière après inondation d'une route dont la propriété ne leur a pas été remise par le défendeur, les demandeurs ont conclu en dernier lieu, dans leur mémoire-conclusions du 10 juin 2010, avec suite de frais et dépens, au paiement par Y._ de la somme globale de 72'000 fr. plus intérêts à 5% l'an dès le 19 juillet 2004; les demandeurs ont encore requis qu'ordre soit donné au défendeur de leur donner « les papiers relatifs à la route d'accès ». Le défendeur a conclu à libération. B.b En cours d'instance, soit le 22 novembre 2005, H.X._ a dénoncé pénalement Y._ pour obtention frauduleuse d'une constatation fausse (art. 253 CP), au motif que ce dernier avait sciemment omis de l'informer que la parcelle n° 1378 se trouvait en zone agricole, alors que l'acte de vente stipulait qu'elle se situait en zone à bâtir. Entendu par le juge d'instruction, H.X._ a déclaré que s'il avait su, au moment d'acquérir le chalet, que cet objet se trouvait en zone agricole, il ne l'aurait pas acheté à ce prix-là. Par jugement du 5 mai 2008, le Juge I du district de Sion a acquitté Y._ au bénéfice de l'adage « in dubio pro reo ». Ce jugement constate, au considérant 2 in fine de sa partie fait, page 9, que l'immeuble litigieux se trouve en zone agricole, selon attestation de zone délivrée par la Commune de ... le 26 janvier 2006. Le juge d'instruction a refusé de suivre, par décision du 16 novembre 2007, à une nouvelle plainte pénale formée par H.X._ contre Y._, cette fois pour escroquerie (art. 146 CP); cette décision a été confirmée par la Chambre pénale du Tribunal cantonal valaisan le 18 janvier 2008. B.c Au cours de l'instruction du procès civil, F.X._ a affirmé que les conjoints n'auraient pas persisté dans leur intention d'acheter le chalet s'ils avaient eu connaissance que la parcelle se trouvait en zone agricole Aucune expertise n'a été sollicitée en rapport avec la moins-value susceptible de découler de la situation du chalet en zone agricole. B.d Par jugement du 16 août 2010, la Cour civile II du Tribunal cantonal valaisan a rejeté la demande en tant qu'elle était recevable. En substance, la cour cantonale a rappelé que lorsque, comme en l'espèce, une vente immobilière a été conclue, les règles relatives à la garantie pour les défauts de la chose vendue des art. 197 ss CO sont applicables par analogie. Elle a tout d'abord considéré que certaines défectuosités du chalet étaient visibles avant l'achat en faisant preuve d'une attention suffisante: il s'agissait de l'état de trois escaliers d'accès, du mur de pierre à l'arrière du chalet et de l'aménagement extérieur en général, de l'état du mobilier, des vitres fendues, de la présence de cloques sous les balcons, de l'état des joints entre la chape et la dalle sur la tranche du balcon ainsi que de la présence d'un trou à l'arrière du chalet. En application de l'art. 200 al. 2 CO, le vendeur ne saurait engager sa responsabilité contractuelle pour l'ensemble de ces défauts. En revanche, la Cour civile a admis que le défaut de planéité du chalet ne pouvait pas être constaté par les futurs acheteurs. Elle a ensuite déterminé la portée de la clause d'exclusion de garantie contenue dans l'acte de vente sur la base de la commune et réelle volonté des parties. Ce procédé l'a amené à retenir que le vendeur ne répondait envers les acheteurs que des défauts frauduleusement dissimulés, des défauts étrangers aux éventualités que des acquéreurs raisonnables auraient prises en compte et de l'absence d'une qualité promise dans l'acte en la forme écrite, de sorte que la clause excluant la garantie était valable pour les défauts ordinaires avec lesquels l'acheteur pouvait compter. La cour cantonale a jugé que le défendeur n'avait jamais eu connaissance du défaut d'horizontalité avant que les demandeurs ne l'en avisent le 1er juin 2004 et que ce défaut, qui n'avait pas empêché le vendeur de jouir de son bien pendant plus de trente ans, ne sortait pas du champ d'application que les acheteurs pouvaient légitimement attribuer à la clause exclusive de garantie, d'autant plus que sa suppression ne représentait que le 10,7 % du prix de vente global du chalet. Elle en a inféré que l'exclusion de garantie s'appliquait au défaut de planéité. S'agissant d'autres défauts, au nombre desquels entraient la zone dans laquelle se trouvait le chalet et les questions liées à la route d'accès, les magistrats valaisans ont retenu que leur existence n'avait pas été prouvée à l'instar de la moins-value qui en résulterait, étant donné qu'ils n'avaient pas été allégués en procédure ou ne ressortaient pas de l'expertise judiciaire. C. H.X._ et F.X._ exercent un recours en matière civile au Tribunal fédéral contre le jugement précité. Principalement, ils concluent à la réforme de cette décision en ce sens que « son dispositif est modifié dans le sens des conclusions prises par les recourants le 10 juin 2010 ». A titre subsidiaire, ils requièrent l'annulation du jugement attaqué, la cause étant renvoyée à la cour cantonale pour nouvelle décision. L'intimé propose le rejet du recours. 