Faits: A. Le 19 juin 1996, A._ et sa soeur E._ ont octroyé aux époux D.C._, ........ , et C.C._, ........ , un bail renouvelable d'année en année sur une villa sise à Lausanne. Le 18 juin 2004, ils ont résilié le bail, au motif que E._ voulait s'installer dans la villa. Les locataires ont saisi l'autorité de conciliation; la procédure a été suspendue. Finalement, les propriétaires ont annulé la résiliation par courrier du 30 août 2007. L'autorité de conciliation a classé la cause. Le 13 février 2008, les propriétaires ont résilié le bail sur formule officielle pour le 30 septembre 2008, sans indiquer de motif. Les locataires ont derechef saisi l'autorité de conciliation d'une requête en annulation de congé, subsidiairement en prolongation de bail. L'autorité de conciliation a annulé le congé. Par demande du 16 octobre 2008, les propriétaires ont alors ouvert action devant le Tribunal des baux. Ils concluaient à ce que la résiliation soit déclarée valable, à ce qu'aucune prolongation de bail ne soit accordée et à ce qu'ordre soit donné aux locataires de quitter la chose louée au plus tard le 30 septembre 2008. Le 9 avril 2009, les propriétaires ont déposé une demande de permis de construire pour la démolition de la villa louée et la construction de deux immeubles avec quatre appartements et six places de parc extérieures. Le permis a été accordé le 29 juillet 2009 pour une durée de deux ans. Le 14 septembre 2009, le Tribunal des baux a été informé de ce que E._ avait cédé sa part de copropriété sur la chose louée à sa nièce B._. Le président du Tribunal a prononcé que cette dernière prenait la place de E._ dans le procès pendant. Retenant un besoin personnel et urgent du copropriétaire A._, né en 1937, qui voulait quitter la maison trop grande qu'il occupait pour s'installer dans l'un des appartements à construire, le Tribunal des baux, par jugement du 30 novembre 2009, a dit que la résiliation du bail était valable. Il a accordé aux locataires une seule et unique prolongation de bail jusqu'au 30 juin 2011. Les locataires ont déféré ce jugement à la Chambre des recours du Tribunal cantonal, concluant à ce que la résiliation de bail soit annulée. Les bailleurs ont conclu au rejet. Statuant par arrêt du 15 décembre 2010 envoyé aux parties le 28 avril 2011, la Chambre des recours a admis le recours et annulé la résiliation de bail notifiée le 13 février 2008. La Chambre a retenu ce qui suit: La résiliation n'a tout d'abord pas été motivée. Un motif de résiliation a été énoncé pour la première fois dans la demande en justice du 16 octobre 2008 adressée au Tribunal des baux. Les propriétaires y expliquent avoir donné le congé en raison d'un projet de démolition de la villa existante et de construction de deux bâtiments résidentiels, projet rendant impossibles la poursuite des rapports de bail et une prolongation du contrat; ils citent certes aussi l'art. 271a al. 3 let. a CO, mais ne font pas explicitement mention d'un besoin personnel et ne démontrent pas que tel serait le cas et pour qui. La volonté de l'un des propriétaires d'occuper personnellement l'un des nouveaux bâtiments ne ressort que de l'audition de témoins entendus le 9 novembre 2009 avant la clôture des débats en première instance. Présenté tardivement et sans explication pour le retard, le motif du besoin personnel est douteux et rien ne s'oppose à retenir l'interprétation des locataires, selon laquelle le congé litigieux est en réalité un congé-rénovation préventif, suivi d'un second congé pour besoin propre. Or, un congé-rénovation ne peut pas être signifié tant que les locataires bénéficient d'une période de protection (art. 271a al. 1 let. e et al. 3 CO). B. Les bailleurs (ci-après: les recourants) interjettent un recours en matière civile auprès du Tribunal fédéral. Ils concluent principalement à la réforme de l'arrêt attaqué en ce sens que le recours cantonal des locataires (ci-après: les intimés) est rejeté et que le jugement rendu le 30 novembre 2009 par le Tribunal des baux est confirmé. Dans leur réponse, les intimés concluent au rejet du présent recours. L'autorité précédente se réfère à son arrêt. La réponse a été communiquée aux recourants avec l'avis qu'aucun échange d'écritures supplémentaire n'était ordonné et que d'éventuelles observations devaient être déposées jusqu'au 7 octobre 2011. Ce jour-là, les recourants ont requis une prolongation de délai d'un mois. Les intimés s'y sont opposés et la présidente de la cour de céans a répondu aux recourants qu'une prolongation de ce délai était exclue. Les recourants ont alors écrit une nouvelle fois pour contester l'avis de la présidente et solliciter la possibilité de déposer des observations complémentaires jusqu'au 31 octobre 2011; à cette date, ils n'avaient pas procédé. 