Faits: A. La société Y._ AG (ci-après: Y._) est propriétaire d'un immeuble de soixante appartements à .... Depuis le 1er octobre 2000, A.X._ et B.X._ sont locataires d'un appartement de quatre pièces et demie sis dans cet immeuble. De gros travaux, comprenant notamment la réfection complète des cuisines et des salles de bains, ont été entrepris dans le bâtiment entre avril 2006 et mars 2007. Ils ont engendré d'importantes nuisances pour les locataires. Par avis officiel du 8 décembre 2006, Y._ a notifié aux locataires des hausses de loyer devant prendre effet au 1er avril 2007, une fois la rénovation achevée. Le loyer mensuel de l'appartement des époux X._ passait de 927 fr. à 1'296 fr., ce qui représente une augmentation de 369 fr. par mois. B. A l'instar de locataires d'autres appartements de l'immeuble, A.X._ a saisi la Commission de conciliation en matière de baux à loyer de .... D'une part, il contestait la hausse de loyer et, d'autre part, il demandait une réduction de loyer en raison des nuisances subies. La conciliation a échoué. A.X._ et B.X._ ont saisi le Tribunal des baux du canton de Vaud, concluant à ce que la hausse de loyer soit déclarée abusive et corrigée à dire de justice (I), à ce que la bailleresse soit reconnue débitrice d'une indemnité de 3'708 fr. correspondant à quatre mois de loyer net (II) et à ce que des frais de gaz de cuisson leur soient restitués (III), de même que des taxes d'égout et d'épuration (IV). La procédure a été jointe avec celles engagées par d'autres locataires. Le Tribunal des baux a rendu son jugement le 18 décembre 2007. Pour ce qui concerne l'action des époux X._ (ch. XXIX à XXXII du dispositif), il a rejeté la conclusion I et admis la validité de la hausse de loyer; il a déclaré irrecevable la conclusion II relative à la réduction de loyer pour cause de nuisances et l'a transmise à la Commission de conciliation; enfin, il a rejeté la conclusion III en tant qu'elle concerne A.X._ et l'a déclarée irrecevable en tant qu'elle concerne B.X._. Par arrêt du 18 novembre 2009, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours des locataires. Selon cette décision, les époux X._, en tant que colocataires, étaient des consorts nécessaires et devaient agir ensemble pour contester le loyer, déjà au stade de la requête en conciliation. Or, A.X._, agissant seul, n'avait pas valablement saisi la Commission de conciliation. Partant, la hausse de loyer est entrée en force, faute d'avoir été contestée à temps par les colocataires devant l'autorité de conciliation. Quant à la requête en réduction de loyer, elle était irrecevable et devait être transmise à la Commission de conciliation compétente. C. A.X._ et B.X._ interjettent un recours en matière civile. Ils concluent principalement à ce que le loyer mensuel soit fixé à 1'203 fr.50 dès le 1er avril 2007. A titre subsidiaire, ils demandent l'annulation de l'arrêt attaqué et le renvoi à la cour cantonale. Y._ propose le rejet du recours. 