Faits : A. La société anonyme B._ SA est locataire d'une surface commerciale dans un immeuble situé à Lausanne. Le 17 mai 2013, les bailleurs A.A._ et B.A._ lui ont notifié un congé pour le 31 août 2014. Le 15 juin 2013 (date du sceau postal), la locataire a saisi la commission de conciliation en matière de baux à loyer d'une requête visant à faire prolonger son bail pour une durée de cinq ans. L'écriture était cosignée par l'administrateur président et un administrateur de la société, titulaires de la signature collective à deux. Les bailleurs ont pris des conclusions en rejet de la requête et en constatation de la validité du congé. L'audience de conciliation s'est tenue le 18 septembre 2013. Un seul des signataires de la requête a comparu pour la locataire. Les bailleurs étaient représentés par un collaborateur de la gérance en charge de l'immeuble et par un avocat. D'entrée de cause, le conseil des bailleurs a demandé à ce que le défaut de la locataire soit constaté, arguant que celle-ci ne pouvait pas être valablement représentée par un seul administrateur doté de la signature collective à deux. L'autorité a vainement tenté la conciliation. Par courrier du 20 septembre 2013, les bailleurs ont renouvelé leur demande visant à faire constater le défaut de la société locataire et le retrait de sa requête en prolongation de bail, la procédure étant devenue sans objet. Le 23 septembre 2013, la commission de conciliation a émis la proposition de jugement suivante: le congé notifié pour le 31 août 2014 est valable; la locataire se voit accorder une prolongation unique expirant le 31 décembre 2015; elle a la possibilité de résilier son bail en tout temps dès le 31 août 2014 moyennant un préavis de trois mois pour la fin d'un mois; toute autre conclusion est rejetée. La commission a brièvement expliqué pour quels motifs elle renonçait à retenir un défaut de la locataire à l'audience du 18 septembre 2013. B. Le 4 octobre 2013, les bailleurs ont saisi le Tribunal cantonal vaudois d'un recours contre la proposition de jugement, dans lequel ils concluaient à ce que soient constatés le défaut de la locataire à l'audience de conciliation et la nullité de la proposition de jugement, la cause devant être rayée du rôle. La locataire n'a pas été invitée à se déterminer. Par arrêt du 13 novembre 2013, la Chambre des recours civile du Tribunal cantonal a rejeté le recours et confirmé la décision querellée. Elle a considéré que la proposition de jugement privait définitivement les bailleurs de la possibilité d'invoquer l'éventuelle péremption des délais prévus à l'art. 273 CO et qu'elle pouvait ainsi leur causer un préjudice difficilement réparable; le recours était donc recevable (art. 319 let. b ch. 2 CPC). Sur le fond, la Chambre a relevé que l'on ignorait si l'administrateur présent à l'audience était muni ou non d'une procuration d'un autre organe, de sorte que les conditions de fait au constat d'un éventuel défaut de la locataire n'étaient pas réunies. Il fallait adopter une position souple et admettre que la conciliation pouvait être tentée du moment que la signature d'un éventuel accord était possible séance tenante; l'on pouvait même envisager que la convention puisse être ratifiée ultérieurement. C. Les bailleurs saisissent le Tribunal fédéral d'un recours en matière civile. Dénonçant une violation de l'art. 206 al. 1 CPC et un établissement inexact des faits, ils concluent principalement à ce que soient constatés le défaut de la locataire à l'audience de conciliation et la nullité de la proposition de jugement, la cause devant être rayée du rôle. Subsidiairement, ils requièrent l'annulation de l'arrêt et le renvoi de la cause à l'autorité précédente pour nouvelle décision. La locataire intimée conclut à l'irrecevabilité du recours, subsidiairement à son rejet. L'autorité précédente se réfère à son arrêt. 