Faits: A. Par contrat du 26 mars 1997, Z._ SA (ci-après : la bailleresse) a remis à bail à X._ un appartement de 7 pièces situé à l'avenue ..., à Lausanne. Le bail commençait le 15 avril 1997 et pouvait être résilié pour les échéances trimestrielles des 31 mars, 30 juin et 30 septembre, moyennant un préavis de trois mois. X._ partage cet appartement avec sa compagne et un enfant. Le 28 juillet 2009, la bailleresse a saisi la Commission de conciliation en matière de baux à loyer du district de Lausanne afin de l'informer du conflit divisant depuis de nombreuses années X._ d'avec deux autres locataires à propos de nuisances sonores que leur reprochait le prénommé; elle l'a prié de les convoquer à une audience, en espérant que cette démarche pourrait résoudre le conflit. Le 19 avril 2010, la bailleresse a précisé les conclusions de sa requête comme suit: " Il est constaté que [la bailleresse] est autorisée à résilier le bail la liant à X._, conclu le 26 mars 1997 pour le 30 septembre 2010 ou une autre date utile, (...) ". A l'audience de conciliation du 20 avril 2010, X._ et sa compagne (ci-après: les locataires) ont passé avec la bailleresse une convention ainsi libellée: " 1. Le bail à loyer de l'appartement est résilié pour le 1er octobre 2012. Les locataires s'engagent à quitter irrévocablement les lieux à cette date au plus tard, libres de tout occupant et de tout objet leur appartenant. Ils peuvent partir dès ce jour moyennant un préavis de trente jours pour la fin de chaque mois. 2. La bailleresse s'engage à adresser d'ici fin avril 2010 une lettre à tous les locataires de l'immeuble leur rappelant le respect des RULV (bruit et paix publique). 3. La bailleresse procédera aux travaux d'entretien nécessaires ". Le procès-verbal de conciliation précisait que celui-ci valait transaction judiciaire, au sens de l'art. 274e al. 1 aCO et que la Commission de conciliation prenait acte de la transaction, qui valait jugement définitif et exécutoire. B. Le 11 juillet 2012, les locataires ont saisi la Commission de conciliation du district de Lausanne d'une requête dont les conclusions sont les suivantes: " 1. La résiliation du bail conclu entre X._ et [la bailleresse] le 25 [recte: 26] mars 1997 (...), telle qu'elle résulte de la convention du 20 avril 2010 est nulle et de nul effet. 2. La résiliation du bail conclu entre X._ et [la bailleresse] le 25 [recte: 26] mars 1997 (...), telle qu'elle résulte de la convention du 20 avril 2010 est annulée. 3. Le bail à loyer du 26 mars 1997 (...) est prolongé pour une période de quatre ans. " Dans sa réponse, la bailleresse a conclu à l'irrecevabilité de la requête. La Commission de conciliation ayant constaté l'échec de la conciliation, les locataires ont repris leurs conclusions dans la demande qu'ils ont adressée le 31 octobre 2012 au Tribunal des baux. Par décision rendue le 17 janvier 2013, le Tribunal des baux a déclaré irrecevable l'acte déposé le 31 octobre 2012 par les locataires et rayé la cause du rôle. Considérant que les conclusions prises par les demandeurs tendaient non pas à ouvrir une révision selon l'art. 328 al. 1 CPC (ainsi qu'ils le prétendent), mais principalement à constater la nullité de la résiliation (telle qu'elle résulte de la convention du 20 avril 2010 passée devant la Commission de conciliation), subsidiairement à l'annulation de cette résiliation et plus subsidiairement à la prolongation du bail litigieux, les premiers juges ont estimé que le litige objet de la demande avait déjà fait l'objet d'une décision entrée en force (le 20 avril 2010) et qu'elle devait dès lors être déclarée irrecevable en application de l'art. 59 al. 2 let. e CPC. Sous un autre angle, ils ont en outre relevé que si cette requête était interprétée comme une demande de révision de la transaction du 20 avril 2010, elle devrait également être déclarée irrecevable en application de l'art. 59 al. 2 let. b CPC, la révision d'une décision entrée en force devant être demandée au tribunal qui a statué en dernière instance (art. 328 al. 1 CPC), soit l'autorité de conciliation précitée. La Cour d'appel civile du Tribunal cantonal vaudois, par arrêt du 25 mars 2013, a rejeté le recours des locataires et, reprenant la motivation alternative des juges précédents, a confirmé leur décision. C. Les locataires exercent un recours en matière civile contre l'arrêt cantonal du 25 mars 2013. Ils concluent à sa réforme, en ce sens que la demande du 31 octobre 2012 adressée au Tribunal des baux est recevable, subsidiairement à l'annulation de l'arrêt entrepris et au renvoi de la cause devant la cour cantonale afin qu'elle prononce la recevabilité de la demande du 31 octobre 2012. Les recourants invoquent l'arbitraire dans la constatation des faits, une violation du droit d'être entendu, singulièrement l'existence d'un formalisme excessif dans la procédure de révision, ainsi qu'une interprétation erronée de l'art. 328 CPC. L'intimée conclut au rejet du recours dans la mesure de sa recevabilité. 