Faits: A. En 1996, la commune de Z._ a adopté le plan de quartier "...". Le 23 septembre 1997, afin d'éviter de procéder à un remaniement parcellaire, plusieurs propriétaires de parcelles situées dans ce quartier ont conclu une convention tendant, le cas échéant, à partager entre eux le produit brut de la vente de leurs parcelles respectives en proportion des surfaces dont ils étaient propriétaires à l'intérieur du périmètre. La convention liait B._ et A._ (copropriétaires de la parcelle n° 1), C._ et D._ (copropriétaires de la parcelle n° 2), E._ (propriétaire de la parcelle n° 3), les hoirs de V._ et W._ (propriétaires de la parcelle n° 4) ainsi que U._ (propriétaire de la parcelle n° 5). E._ acquerra la parcelle n° 4 en 1998 et la parcelle n° 5 sera vendue à M._ SA en 2001 ou 2002. Après avoir conduit avec succès une première promotion immobilière dans le quartier, N._ SA (ci-après: N._) a établi un second projet. A cet effet, elle a envisagé d'acheter les cinq parcelles précitées. Le 22 août 2005, les propriétaires des cinq parcelles, d'une part, et N._, d'autre part, ont signé devant notaire un acte intitulé "Ventes à terme - Pactes d'emption". Dans ce document, les parties exposaient que les propriétaires voulaient vendre à terme leurs parcelles respectives à N._. L'acte fixait des obligations particulières relatives à certaines parcelles; ainsi, il prévoyait qu'il incombait à M._ SA d'obtenir, préalablement à l'inscription du transfert de propriété de l'immeuble au registre foncier, la radiation - à ses frais exclusifs - d'une annotation portant sur une restriction du droit d'aliéner et requise par un juge d'instruction à la suite d'une procédure pénale ouverte contre l'administrateur de M._ SA. L'acte notarié prévoyait que le prix de vente global et forfaitaire était de 2'700'000 fr., que les engagements pris étaient fermes et définitifs, qu'aucune des parties ne pouvait s'en délier, même en versant une dédite, que le transfert de propriété ne serait requis au registre foncier qu'après le paiement complet du prix de vente et que la réquisition d'inscription devait être signée au plus tard le 31 juillet 2006; si, à cette date, l'une des parties ne s'était pas exécutée par la signature de la réquisition de transfert ou par le paiement du prix de vente, la partie non défaillante pouvait, à son choix, poursuivre l'exécution du contrat en réclamant au surplus des dommages-intérêts moratoires ou renoncer à l'exécution du contrat et demander, à titre de peine conventionnelle, le paiement d'une somme de 270'000 fr., montant immédiatement exigible sans autre mise en demeure que la notification à la partie défaillante du constat notarié de carence. Le notaire a convoqué les parties à une séance d'exécution de l'acte fixée au 26 juillet 2006. Par lettre du 24 juillet 2006, la banque de l'intimée a informé le notaire que les fonds étaient à disposition et qu'elle n'attendait plus que l'appel de fonds pour verser le prix de vente convenu. Le même jour, le notaire a annulé la séance précitée, en expliquant que les autorités pénales compétentes avaient refusé sa requête en vue de radier l'annotation de la restriction du droit d'aliéner inscrite sur la parcelle n° 5, propriété de M._ SA. A l'exception de cette dernière société, les parties se sont tout de même présentées le 26 juillet 2006 à l'étude du notaire; l'exécution de l'acte n'a pas pu être instrumentée faute de radiation de l'annotation de la restriction du droit d'aliéner. N._ a alors demandé à ce qu'un constat notarié de carence soit notifié aux vendeurs si la réquisition de transfert ne pouvait pas être signée dans le délai échéant au 31 juillet 2006. Le notaire a refusé, au motif qu'un tel constat impliquait que la vente soit exécutable; or, selon lui, la signature de l'acte de transfert était impossible vu le maintien de la restriction d'aliéner, quand bien même N._ avait rempli ses obligations en mettant à disposition la totalité du prix de vente. Des discussions ultérieures entre N._ et plusieurs vendeurs n'ont pas abouti. Le 15 septembre 2006, N._ a averti les vendeurs qu'elle entendait se prévaloir de la clause de l'acte du 22 août 2005 lui permettant de renoncer à l'exécution et de réclamer 270'000 fr. à titre de peine conventionnelle; elle les mettait en demeure de lui verser ce montant jusqu'au 29 septembre 2006. A._, B._, C._, D._ et E._ ont refusé d'y donner suite, estimant ne pas être responsables de la défaillance de M._ SA. En 2007, les mêmes propriétaires ont vendu à un autre promoteur les parcelles nos 3, 4, 1 et 2. B. Par demande du 13 juin 2007, N._ a ouvert action contre A._, B._, C._, D._, E._ et M._ SA devant le Tribunal civil de l'arrondissement de la Broye et du Nord vaudois. Elle concluait à ce qu'il soit prononcé que les défendeurs, solidairement entre eux, sont ses débiteurs et lui doivent paiement immédiat de la somme de 270'000 fr., plus intérêts à 5% l'an dès le 31 juillet 2006. A._, B._, C._, D._ et E._ ont conclu au rejet de la demande; M._ SA n'a pas procédé. La faillite de M._ SA a été prononcée le 28 avril 2008. La procédure de faillite a été suspendue le 24 novembre 2008 faute d'actifs. Par jugement du 5 novembre 2009, le Tribunal civil a rejeté la demande de N._. Il a retenu que A._, B._, C._, D._, E._ et M._ SA formaient une société simple et étaient des associés solidairement responsables; les cinq premiers ne devaient néanmoins pas s'acquitter de la peine conventionnelle, la vente à N._ ayant échoué uniquement en raison du non-respect par M._ SA d'une condition mise à sa charge. Le 15 mars 2010, N._ a changé sa raison sociale en X._ SA. L'expédition motivée du jugement du Tribunal civil a été envoyée aux parties le 17 novembre 2010. X._ SA a interjeté un recours en réforme auprès de la Chambre des recours du Tribunal cantonal du canton de Vaud. Statuant par arrêt du 11 mai 2011 dont les considérants ont été notifiés le 29 juillet 2011, la cour cantonale a admis le recours et dit que A._, B._, C._, D._ et E._, solidairement entre eux, sont les débiteurs de X._ SA et lui doivent paiement immédiat de la somme de 270'000 fr., plus intérêts à 5% l'an dès le 30 septembre 2006. Elle a retenu que les vendeurs formaient une société simple dont le but était de vendre ensemble et en bloc les parcelles appartenant à chacun des associés et qu'ils étaient solidairement responsables des engagements pris envers N._. Elle a constaté ensuite que les défendeurs n'avaient pas signé la réquisition de transfert à la date prévue, ce qui équivalait à une défaillance de la partie venderesse, à savoir des vendeurs pris dans leur ensemble, l'impossibilité subséquente non fautive de transférer les parcelles n'étant pas démontrée. C. A._, B._, C._, D._ et E._ interjettent un recours en matière civile. Ils concluent principalement à ce qu'il soit dit qu'ils ne sont les débiteurs d'aucun montant quelconque envers X._ SA et à ce que les conclusions prises contre eux par l'intimée soient intégralement rejetées dans la mesure de leur recevabilité. A titre subsidiaire, ils demandent que le montant dû à l'intimée n'excède pas 50'000 fr. X._ SA propose le rejet du recours. Pour sa part, la Chambre des recours se réfère aux considérants de son arrêt. 