Faits: A. A.a Le 3 juillet 2000, H.X._ et F.X._, propriétaire d'une parcelle sise sur la Commune de ... (Vaud), ont conclu avec Y._ SA un contrat d'entreprise générale portant sur la construction sur leur bien-fonds d'une villa individuelle de six pièces et demie, avec garage et piscine extérieure, pour le prix forfaitaire de 1'350'000 fr. A teneur de l'art. 35.4 de cet accord, les droits du maître en cas de défaut se prescrivaient par cinq ans à partir de la réception de l'ouvrage. Le même jour, les parties ont conclu un second contrat ayant trait à la construction d'un jacuzzi à l'extérieur, pour le montant de 38'500 fr.; Y._ SA en a sous-traité l'installation à A._ SA. A.b En octobre 2000, H.X._ et F.X._ se sont installés dans leur villa. Il n'a pas été dressé procès-verbal de la réception de l'ouvrage. Dès la prise de possession de la villa, H.X._ et F.X._ ont reproché à Y._ SA des manquements dans l'exécution des deux contrats du 3 juillet 2000, lesquels se rapportaient au jacuzzi, au portail d'entrée et à des finitions à l'intérieur du bâtiment. Il en est résulté des échanges nourris de courriers entre parties, ainsi que diverses rencontres entre celles-ci pour discuter de la situation. A.b.a A propos du jacuzzi, informée par pli du 25 mars 2002 des maîtres de l'ouvrage de la présence de défauts techniques, A._ SA leur a expliqué qu'il y avait un problème de ventilation et leur a proposé de remplacer le couvercle existant par une grille afin d'éliminer la condensation. Le 30 avril 2002, Y._ SA, ayant eu connaissance desdits défauts, a demandé à A._ SA d'y remédier à ses frais. Par courrier du 8 octobre 2002, les maîtres de l'ouvrage ont requis Y._ SA de résoudre le problème persistant de ventilation dans le local technique du jacuzzi; celle-ci leur a alors fait savoir que le problème était réglé après la pose d'un couvercle en caillebotis, ce que les maîtres de l'ouvrage ont contesté. Il résulte d'un constat opéré les 23 mai et 2 juin 2003 par Y._ SA que la ventilation dans le local technique du jacuzzi n'était pas satisfaisante. Le 20 juin 2005, les maîtres de l'ouvrage ont écrit à A._ SA que le jacuzzi posait problème à chaque utilisation; le 8 novembre 2005, ils ont précisé que le jacuzzi n'avait pas fonctionné un seul jour de l'année. Par pli du 28 avril 2006, les maîtres de l'ouvrage ont fixé à Y._ SA un délai échéant le 31 mai 2006 pour réparer le jacuzzi, ajoutant que si ce n'était pas fait, ils en demanderaient l'enlèvement et le remboursement. Par lettre du 1er mai 2006, Y._ SA a déclaré aux maîtres qu'elle allait s'assurer auprès de A._ SA que les réparations seraient effectuées. A la suite d'une réunion entre les parties en présence d'un professionnel du domaine des jacuzzis, survenue le 15 mai 2006, Y._ SA a indiqué aux maîtres de l'ouvrage, le 2 juin 2006, qu'elle avait mandaté ce dernier pour effectuer une mise en conformité et une remise en marche du bassin. Des travaux de réparation, consistant notamment à l'ajout de matériel, ont été exécutés pour le prix de 6'000 fr. sous la direction dudit spécialiste. Les maîtres de l'ouvrage n'en ayant pas été satisfaits, ce matériel a été retiré le 6 septembre 2006. A.b.b En ce qui concerne le portail qu'ils partagent avec leurs voisins, les maîtres de l'ouvrage ont constaté qu'il était branché exclusivement sur leur propre compteur d'électricité, de sorte que, par courriers des 26 juin et 8 juillet 2002, ils ont requis de Y._ SA la pose de deux compteurs distincts. Une entreprise tierce, mandatée par les maîtres de l'ouvrage, a devisé à 1'694 fr.95 la pose de compteurs individuels par villa. Y._ SA a fait savoir à ces derniers, par lettre du 10 octobre 2002, que cette solution n'était pas adéquate. A.b.c A propos des finitions dans leur villa, les maîtres de l'ouvrage ont remis le 2 mai 2003 à Y._ SA une liste de travaux à effectuer sous garantie, qu'ils avaient établie le 5 octobre 2002. Y._ SA a mandaté des sous-traitants pour effectuer lesdits travaux; les maîtres de l'ouvrage ont toutefois estimé que certains de ces travaux n'avaient pas été réalisés. Le 4 septembre 2005, les maîtres de l'ouvrage ont adressé une lettre à Y._ SA, mentionnant comme en-tête le mot « Garantie », qui précisait notamment que « la date anniversaire des 5 ans à partir de la réception de l'ouvrage » était proche. Par télécopie du 25 septembre 2005, intitulée « Garantie pour votre villa », Y._ SA a répondu qu'elle savait que le délai de garantie de cinq ans approchait, qu'elle demandait aux maîtres de l'ouvrage d'établir une liste de travaux tombant selon eux sous la garantie quinquennale couvrant les défauts cachés et qu'elle s'occuperait de « dresser cette liste et de l'adresser aux entreprises concernées afin qu'elles remédient aux défauts ». Par lettre du 31 octobre 2005, les maîtres de l'ouvrage ont remis à Y._ SA une nouvelle liste des travaux de finition à opérer sous garantie. Le 30 mars 2006 (recte: 31 mars 2006), Y._ SA a envoyé une télécopie aux maîtres de l'ouvrage, indiquant qu'elle ne les avait pas oubliés, mais qu'elle devait faire le « tri avec (ceux-ci) des travaux concernant véritablement la garantie et ceux qui seraient des retouches ». B. Après avoir requis une poursuite contre Y._ SA le 7 décembre 2006, H.X._ et F.X._ ont ouvert action contre cette société devant le Tribunal d'arrondissement de l'Est vaudois, par demande du 19 juillet 2007, concluant à ce que la défenderesse leur doive paiement de 52'000 fr. plus intérêts à 5% l'an dès le 13 septembre 2006. La défenderesse a conclu à libération. Elle a invoqué la prescription au sens de l'art. 371 al. 2 CO. Une expertise a été ordonnée en cours d'instance. Il en est ressorti que le jacuzzi n'avait pas été installé conformément aux règles de l'art et que sa mise en conformité s'élèverait à 10'000 fr., voire à 28'000 fr. si sa cuve était défectueuse; le coût d'une remise en état du terrain, si le jacuzzi était retiré, serait de 5'800 fr. S'agissant du portail, l'indépendance entre les deux voisins entraînerait un coût d'installation électrique de 1'800 fr. Les différents travaux de garantie à effectuer étaient estimés à 11'800 fr. Par jugement du 10 mai 2010, le Tribunal d'arrondissement a admis partiellement la demande et dit que la défenderesse devait verser aux demandeurs un montant de 35'600 fr. avec intérêts à 5% dès le 13 décembre 2006. Considérant que la défenderesse avait renoncé à invoquer la prescription par actes concluants, cette autorité a alloué aux demandeurs 33'800 fr. pour l'enlèvement du jacuzzi et la remise en état du terrain et 1'800 fr. pour la pose d'une dérivation sur le fusible du portail. Statuant sur recours de la défenderesse, la Chambre des recours du Tribunal cantonal vaudois, par arrêt du 30 mars 2011, a rejeté entièrement la demande en raison de la prescription qui est intervenue au plus tard à la fin novembre 2005. La cour cantonale a retenu que la défenderesse n'avait pas renoncé à la prescription par actes concluants et qu'elle n'avait pas abusé de son droit en invoquant cette exception de droit matériel. C. Les demandeurs exercent un recours en matière civile au Tribunal fédéral contre cet arrêt. Ils concluent principalement à ce que la défenderesse soit reconnue leur débitrice solidaire de la somme de 47'400 fr. avec intérêts à 5% l'an dès le 13 décembre 2006. Subsidiairement, ils requièrent l'annulation de l'arrêt attaqué et le renvoi de la cause à la cour cantonale pour nouveau jugement. L'intimée propose le rejet du recours en tant qu'il est recevable. La requête d'effet suspensif déposée par les recourants a été rejetée par ordonnance présidentielle du 12 septembre 2011. 