Faits: A. Par contrat du 10 novembre 2004, H.Z._ et F.Z._ ont cédé à H.X._ et F.X._, moyennant un loyer, l'usage d'une villa individuelle de six pièces au Grand-Lancy (GE). Le bail a été conclu pour une durée d'un an et quinze jours, soit du 15 novembre 2004 au 30 novembre 2005, avec clause de reconduction tacite d'année en année. Le contrat précise que les locaux sont destinés à l'habitation. En dernier lieu, le loyer annuel a été fixé à 42'504 fr., charges non comprises. Les époux H.X._ et F.X._ se sont séparés peu après s'être installés dans la villa. H.X._ est resté dans le logement avec les deux enfants du couple. A partir de l'année 2005 environ, H.X._ a sous-loué des chambres de la villa à des prostituées pour qu'elles s'y livrent à leur activité professionnelle. Selon les explications qu'il a données, les chambres sont occupées cinq à six jours par semaine et il reçoit 100 fr. par jour pour cette utilisation. De la publicité a été diffusée sur Internet et dans la presse écrite. H.X._ n'a jamais annoncé au propriétaire ou au gérant de l'immeuble l'activité de prostitution se déroulant dans la villa qu'il avait louée. Lors d'un passage à Genève le 23 décembre 2007, F.Z._ - qui réside avec son mari en Turquie - a procédé à une visite non annoncée dans la villa. Elle a découvert alors l'usage qui était fait des locaux loués. H.X._ lui a affirmé qu'il s'agissait d'une activité légale et surveillée et qui ne dérangeait pas les voisins; F.Z._ lui a répondu que "dans ce cas, le loyer de la maison devait être augmenté, car celle-ci n'était plus utilisée comme habitation". Selon le témoignage d'une employée de la régie, F.Z._ est revenue de sa visite "choquée et un peu fâchée". Les époux Z._ ont décidé de ne pas accepter ce changement d'affectation. Par courrier du 15 février 2008, le gérant de l'immeuble a informé H.X._ et F.X._ que la transformation de la villa en "maison close" n'était pas acceptable; un délai au 15 mars 2008 était fixé pour mettre un terme à la situation, à défaut de quoi le bail serait résilié. H.X._ a répondu en faisant valoir qu'aucun voisin ne se plaignait. Par courrier du 18 avril 2008, le gérant de l'immeuble a demandé à H.X._, en contresignant le pli jusqu'au 30 avril 2008 en guise d'accord, de prendre l'engagement de ne plus mettre, d'ici au 31 décembre 2008, les locaux à disposition de prostituées. H.X._ n'a pas obtempéré. Par avis officiel du 7 mai 2008, adressé séparément à H.X._ et F.X._, H.Z._ et F.Z._ ont résilié le bail pour le 30 juin 2008 en se référant à l'art. 257f al. 3 CO. B. H.X._ et F.X._ ont contesté la résiliation devant la Commission de conciliation. Non conciliée, l'affaire a été portée devant le Tribunal des baux et loyers du canton de Genève. Par jugement du 1er février 2010, le tribunal a déclaré valable le congé donné le 7 mai 2008 pour le 30 juin 2008, en ordonnant l'évacuation des locataires. Saisie par ces derniers, la Chambre d'appel en matière de baux et loyers de Genève, par arrêt du 15 juillet 2010, a confirmé le jugement attaqué. C. H.X._ et F.X._ exercent un recours en matière civile au Tribunal fédéral contre l'arrêt précité. Invoquant l'arbitraire dans l'établissement des faits et diverses violations du droit fédéral, principalement la violation de l'art. 257f CO, ils concluent à l'annulation de l'arrêt attaqué et, sur demande principale, à ce que le Tribunal fédéral constate la nullité du congé ou, subsidiairement, annule la résiliation du bail; plus subsidiairement ils sollicitent une prolongation du bail d'une durée de quatre ans et, encore plus subsidiairement, ils concluent au renvoi de la cause à l'autorité cantonale, demandant par ailleurs le rejet de la demande en évacuation. Leur demande d'effet suspensif a été admise par ordonnance présidentielle du 22 septembre 2010. Les intimés proposent le rejet du recours et la confirmation de l'arrêt cantonal. Un nouvel échange d'écritures, sollicité par les recourants, ne se justifie pas (art. 102 al. 3 LTF) et la requête présentée, en l'absence de toute motivation, revêt un caractère dilatoire. 