Faits: A. A.a Les époux H.X._ et F.X._ ont souscrit et libéré des parts sociales de la Société Y._ (ci-après: la coopérative) à concurrence de 2'200 fr. Selon ses statuts, cette société a "pour but de procurer à ses membres des logements familiaux salubres, agréables et à bon marché dans des quartiers urbains" (art. 2); les appartements sont destinés à être loués en priorité aux membres de la coopérative (art. 3); un membre de la coopérative peut en être exclu lorsqu'il agit intentionnellement en contradiction avec les statuts ou avec les décisions obligatoires des organes compétents de la société ou pour d'autres justes motifs (art. 10 al. 1 let. b et c). A la suite de l'acquisition de ces parts sociales, la coopérative a remis à bail aux époux H.X._ et F.X._ (ci-après: les locataires) un appartement de trois pièces et deux chambrettes au 3e étage de l'immeuble dont elle est propriétaire à la rue ..., à Genève. Le bail était conclu pour la période du 1er novembre 2000 au 31 octobre 2001 et se renouvelait ensuite tacitement d'année en année; en dernier lieu, le loyer annuel s'élevait à 8'736 fr., sans les charges. Parallèlement, un autre contrat a été conclu entre les parties portant sur la location d'une place de stationnement. A.b Le 27 mars 2002, la coopérative a informé les locataires qu'elle avait reçu des plaintes de leurs voisins, dérangés notamment par des cris, des éclats de voix, ainsi que par leur attitude agressive, et les a mis en demeure de mettre un terme à leur comportement, sous menace de résiliation du bail pour justes motifs. Par deux fois, les 21 mai 2003 et 1er septembre 2003, la coopérative a interpellé les locataires au sujet d'objets personnels qu'ils avaient entreposés dans le garage à vélos commun. Le 16 février 2004, plusieurs locataires ont adressé au gérant de l'immeuble une pétition pour se plaindre du comportement adopté par la famille X._ à l'égard du responsable du service d'immeuble. Par lettre recommandée du 26 février 2004, la coopérative a invité les époux X._ à prendre contact avec son président; il leur était reproché le dépôt d'objets personnels sur le palier et dans les locaux communs au sous-sol, leur vulgarité et agressivité verbale, en particulier à l'encontre de la concierge de l'immeuble, ainsi que des cris provenant de leur appartement qui perturbaient la tranquillité des voisins. Les époux X._ n'ont pas répondu à l'invitation et la coopérative leur a adressé un nouveau courrier recommandé, le 16 avril 2004, les mettant en garde que le conseil d'administration de la coopérative avait pris la décision irrévocable de résilier le bail si leur comportement suscitait de nouvelles plaintes; il leur était à nouveau reproché leur comportement vis-à-vis du voisinage en général, singulièrement à l'égard de la concierge, le bruit provenant de leur logement, ainsi que leur sans-gêne dans l'utilisation de la buanderie, le linge restant fréquemment 24 heures dans la machine avant d'être sorti et suspendu plusieurs jours sur l'étendage. Au début de l'année 2006, des locataires se sont plaints une nouvelle fois auprès des membres du conseil d'administration de la coopérative du comportement bruyant adopté par les époux X._. Le 15 février 2006, le conseil d'administration a pris la décision de charger le gérant de l'immeuble de résilier, pour justes motifs et pour la prochaine échéance légale, le bail de la famille X._. En revanche, le conseil d'administration n'a pas prononcé l'exclusion des coopérateurs de la société. Le 7 mars 2006, des avis de résiliation du bail ont été adressés tant à H.X._ qu'à F.X._ aussi bien pour l'appartement (à l'échéance du 31 octobre 2006) que pour la place de stationnement (à l'échéance du 15 novembre 2006). La résiliation était fondée sur les nuisances au voisinage (bruit, encombrement du palier, non-respect des règles d'utilisation des parties communes) et se référait aux mises en demeure des 26 février et 16 avril 2004. B. Les locataires ont requis l'annulation du congé, tandis que la coopérative a demandé leur évacuation. Les deux causes ont été jointes devant le Tribunal des baux et loyers du canton de Genève. Se fondant sur deux témoignages, le tribunal a retenu que les époux X._ se disputaient fréquemment et si violemment que cela effrayait les enfants; sur la base de six témoignages, il a également constaté qu'ils s'en prenaient au concierge de l'immeuble. Par jugement du 9 mars 2009, le tribunal a déclaré valable le congé donné aux locataires et a ordonné leur évacuation, considérant qu'ils avaient manqué d'égards envers leurs voisins, en adoptant, de manière persistante, un comportement très bruyant et une attitude agressive et irrespectueuse. Saisie d'un appel émanant des locataires, la Chambre d'appel en matière de baux et loyers a confirmé ce jugement par arrêt du 5 octobre 2009. C. H.X._ et F.X._ exercent un recours en matière civile au Tribunal fédéral contre l'arrêt précité. Hormis quelques critiques concernant l'établissement des faits, les recourants soutiennent principalement que la coopérative ne pouvait pas résilier le bail avant de les avoir exclus de la société coopérative. Ils concluent, principalement, à l'annulation de l'arrêt attaqué et au constat que le congé est nul, subsidiairement au renvoi de la cause à l'autorité cantonale. Ils ont par ailleurs sollicité l'effet suspensif qui leur a été accordé par ordonnance présidentielle du 3 décembre 2009. L'intimée propose le rejet du recours. 