Faits: A. A.a H.X._ et F.X._ sont locataires d'un appartement de cinq pièces, sis aux ..., depuis 1969. Jusqu'en 2003, la locataire F.X._ a assumé la conciergerie de l'immeuble, propriété de Y._. Le bailleur et les locataires sont liés par un contrat de travail et un contrat de bail, qui ont été conclus le 26 novembre 2001 devant la Commission de conciliation en matière de baux et loyers, avec effet au 1er décembre 2001. Le bail, initialement fixé pour une période déterminée de cinq ans, était ensuite renouvelable tacitement de cinq ans en cinq ans. Le loyer a été convenu à 12'000 fr. par an, charges non comprises, pour la période du 1er décembre 2001 au 30 novembre 2003, puis à 13'200 fr. du 1er décembre 2003 au 30 novembre 2004. A.b Par avis du 19 juillet 2006, le bail a été résilié pour le 30 novembre 2006. En réponse à l'invitation de motivation formulée par les locataires, le bailleur a précisé que le congé était motivé par diverses plaintes d'autres locataires qui dénonçaient un comportement irrespectueux des époux X._ à leur encontre, depuis plusieurs années. Le bailleur a indiqué que l'attitude des locataires a persisté en dépit de divers courriers d'avertissement et est devenue insupportable pour le voisinage, poussant même certains locataires à déménager. A l'exception de problèmes rencontrés avec Monsieur A._, qui a également fait l'objet d'une pétition, les époux X._ ont toujours nié l'existence de difficultés relationnelles avec les autres locataires de l'immeuble. Le 18 août 2006, les locataires ont contesté le congé devant la Commission de conciliation en matière de baux et loyers et requis l'annulation du congé, subsidiairement une prolongation du contrat de bail pour une durée de quatre ans. B. B.a Par décision du 27 mars 2007, la Commission de conciliation en matière de baux et loyers a déclaré valable le congé du 19 juillet 2006 et accordé aux locataires une unique prolongation du bail au 30 novembre 2010. Le Tribunal des baux et loyers a été saisi tant par les locataires que par le bailleur. Les mêmes conclusions que celles formulées devant la Commission de conciliation ont été prises par les locataires. Le bailleur, pour sa part, a conclu à la validité du congé et au refus de toute prolongation du bail. Par jugement rendu le 17 mars 2009, le Tribunal des baux et loyers du canton de Genève a déclaré valable le congé notifié avec effet au 30 novembre 2006 et accordé aux locataires une unique prolongation du bail de quatre ans, au 30 novembre 2010; les parties ont été déboutées de toutes autres conclusions. B.b Saisie d'un appel des locataires, la Chambre d'appel en matière de baux et loyers du canton de Genève a, par arrêt du 18 janvier 2010, confirmé le jugement entrepris, condamné les locataires, conjointement et solidairement, à un émolument d'appel de 300 fr. et débouté les parties de toute autre conclusion. En substance, l'autorité cantonale a considéré que le congé, destiné à préserver la paix dans l'immeuble, n'est pas abusif, dès lors que le comportement des locataires, qui entretenaient certes de bons rapports avec une partie des occupants de l'immeuble, a été qualifié d'inadéquat par plusieurs locataires ou anciens locataires, qui se sont plaints auprès de la régie, et qu'une mise en garde du gérant de l'immeuble n'a pas amené d'amélioration. Les juges cantonaux ont par ailleurs confirmé la prolongation de bail, non remise en cause, accordée par les premiers juges. C. Les locataires exercent contre cet arrêt un recours en matière civile au Tribunal fédéral. Invoquant l'arbitraire dans l'appréciation des preuves et l'établissement des faits, ainsi qu'une violation des art. 257f al. 2 et 271 CO et de l'art. 8 CC, ils concluent, sous suite de dépens, à l'annulation du jugement entrepris, au constat de la non-validité du congé signifié, à l'annulation du congé et au déboutement de la partie adverse de toutes autres, plus amples ou contraires conclusions. A titre subsidiaire, ils requièrent le renvoi de la cause à la Chambre d'appel pour nouvelle décision et, plus subsidiairement, à ce qu'ils soient acheminés à prouver par toutes voies de droit les faits allégués dans le présent recours. Le bailleur conclut au rejet du recours, sous suite de dépens. 