Faits: A. A.a Y._, qui vit maintenant à Jérusalem (Israël), est propriétaire, entre autres biens-fonds, d'un immeuble sis à la M._ à Genève. Il a habité plusieurs années dans un appartement de quatre pièces du 5e étage du même bâtiment, notamment pendant une période de trois ans avec sa fille O._, avant que cette dernière ne retourne vivre avec sa mère dans différents lieux à l'étranger, non sans revenir régulièrement rendre visite à son père à Genève. Par contrat du 6 avril 2000, Y._ (ci-après: le bailleur) a remis à bail aux époux H.X._ et F.X._ (ci-après: les locataires) à partir du 1er avril 2000 l'appartement de quatre pièces précité. Cette convention, dont la durée initiale était d'un an, s'est ensuite renouvelée d'année en année selon une clause de reconduction tacite; fixé initialement à 24'000 fr. par année, sans les charges, le loyer annuel se montait en 2006 à 25'164 fr. net. Il a été retenu que les locataires, qui ont deux enfants âgés de cinq et huit ans, travaillent tous deux, le mari au sein des ressources humaines d'un hôpital, l'épouse comme logopédiste; leur revenu annuel cumulé se monte à environ 160'000 fr. A.b Le 11 mai 2001, le bailleur et les locataires ont passé une convention devant la Commission de conciliation en matière de baux et loyers du canton de Genève fixant le loyer annuel de la chose louée à 24'240 fr., hors charges, dès le 1er avril 2001, avec indexation d'après l'indice suisse des prix à la consommation pendant six ans, soit jusqu'au 31 mars 2007. Par courrier du 12 mai 2005, les locataires ont demandé à la régie de l'immeuble de réaliser dans leur appartement divers travaux de peinture et de remplacer la moquette par du parquet. La régie a répondu favorablement à cette demande le 19 mai 2005, indiquant aux locataires qu'elle avait mandaté une entreprise afin d'établir un devis. Les travaux sollicités n'ayant pas débuté, les locataires, par lettre du 2 novembre 2005, ont mis en demeure la régie de les effectuer dans le mois, faute de quoi le loyer serait consigné, et de leur accorder en plus une réduction de loyer de 15% à compter du 19 mai 2005, date où les défauts ont été connus, cela jusqu'à l'achèvement desdits travaux. La régie a alors fait exécuter les travaux requis dans le délai fixé, étant précisé que la moquette n'a pas été remplacée par du parquet, mais par un nouveau revêtement de sol, sans que cela ne provoque de contestation; la réduction temporaire de loyer sollicitée a été accordée jusqu'à complète exécution des travaux. A.c Par avis officiels du 13 novembre 2006 notifiés séparément à chacun des locataires, le bailleur a résilié le bail de l'appartement sis à la rue M._ pour le 31 mars 2007. Le bailleur a été invité par les locataires à communiquer les motifs du congé. Par courrier du 29 novembre 2006, il a expliqué qu'il entendait mettre le logement à disposition de sa fille O._, médecin de profession, laquelle, très attachée à cet appartement où elle avait vécu dans son enfance, allait revenir à Genève pour y exercer la médecine au sein d'un établissement hospitalier, qui l'avait engagée pour un stage dans son service de chirurgie plastique et reconstructive. Il a été constaté que la chose louée dispose d'une terrasse sur laquelle l'agrandissement d'un jardin d'hiver existant a été autorisé en 1994, sans avoir encore été réalisé. Le 27 décembre 2006, la voisine de palier des locataires a résilié son bail pour le 31 mars 2007. O._ est venue s'installer à Genève en octobre 2008 et occupe actuellement un appartement de deux pièces qu'un membre de sa famille lui a remis en sous-location. B. Les locataires ont contesté le congé, demandant son annulation, subsidiairement une prolongation du bail de quatre ans. Non conciliée, la cause a été portée devant le Tribunal des baux et loyers du canton de Genève, lequel, par jugement du 2 mars 2009, a annulé le congé, considérant que le motif invoqué à son appui n'était pas établi en raison des contradictions entre les dépositions du bailleur et celles de sa fille. Saisie par le bailleur, la Chambre d'appel en matière de baux et loyers du canton de Genève, par arrêt du 7 décembre 2009, a annulé le jugement précité; statuant à nouveau, elle a déclaré valable le congé notifié le 13 novembre 2006 pour le 31 mars 2007 et accordé aux locataires une unique prolongation de bail de trois ans, échéant le 31 mars 2010. La cour cantonale a retenu, sur la base des déclarations probantes du bailleur et de sa fille, que le motif de la résiliation de bail résidait dans la volonté du bailleur de mettre la chose louée à disposition de cette dernière et qu'il s'agissait d'un motif légitime, en sorte que le congé ne contrevenait pas aux règles de la bonne foi. Elle a ajouté que le bail de l'appartement voisin a été résilié par sa locataire postérieurement au congé litigieux, d'où l'absence de pertinence de cet élément. L'autorité cantonale a nié que le congé du 13 novembre 2006 fût un congé de représailles. Pesant enfin les intérêts réciproques des parties, la Chambre d'appel a jugé qu'il convenait d'accorder aux locataires une unique prolongation de bail de trois ans, soit jusqu'au 31 mars 2010. C. Les locataires exercent un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Ils concluent principalement à l'annulation du congé notifié le 13 novembre 2006 pour le 31 mars 2007, subsidiairement à l'octroi d'une prolongation de bail échéant le 31 mars 2011. L'intimé propose le rejet du recours. 