Faits: A. Depuis le début des années 1970, l'avocat Z._, domicilié à Genève, a été le conseil et l'ami de H.X._, qui était domicilié à N._. Ce dernier était à la tête d'une fortune estimée à 500'000'000 US$. Au cours de l'année 2000, H.X._ a épousé, en sixièmes noces, F.X._. Le 7 septembre 2001, H.X._ et Z._ ont ouvert auprès de A._ Bank à Genève un compte en dollars n° xxx dénommé "U._". Selon les documents d'ouverture du compte, chacun d'eux en était titulaire et disposait de la signature individuelle. Selon deux témoins, H.X._ destinait ce compte à sa fille. Le compte a été approvisionné, sur l'ordre de H.X._, par diverses sociétés, trusts ou établissements dont il était l'ayant droit. Le compte a été utilisé pour payer différentes factures et a donné lieu à de nombreuses opérations. Le 19 juillet 2002, H.X._ a donné l'ordre à la société B._ Corporation de verser 1'000'000 US$ sur le compte "U._" qui a été crédité de ce montant le 23 juillet 2002. Selon Z._, H.X._ lui a dit qu'il s'agissait d'un don qu'il lui faisait pour marquer tant d'années d'amitié. Par courrier du 4 juin 2003, Z._ a donné l'ordre à A._ Bank de transférer 1'500'000 US$ sur un de ses comptes personnels auprès de la banque C._, transfert qui a été effectué. Ce transfert n'est litigieux qu'à concurrence d'un million de dollars, correspondant à la donation alléguée. Le gestionnaire du compte et son assistante, entendus comme témoins, ont affirmé que H.X._ s'intéressait à la gestion de ses comptes, en suivait régulièrement l'évolution et demandait des rapports périodiques; à aucun moment il n'a remis en cause le transfert opéré sur le compte personnel de Z._. L'assistante, lors de sa deuxième audition comme témoin, a affirmé que H.X._ lui avait dit, au sujet du transfert sur le compte personnel de Z._, qu'il s'agissait d'un petit cadeau ("little present") et qu'elle avait compris que le bénéficiaire en était Z._. Une autre assistante a apposé une mention concernant le but du transfert qui ne fait pas apparaître l'idée d'une donation; entendue comme témoin, elle a affirmé qu'elle avait eu à ce sujet un entretien téléphonique avec Z._, mais qu'elle n'avait pas de souvenir précis de la conversation. Les rapports entre H.X._ et Z._ se sont dégradés en mai 2004, le premier reprochant au second de l'avoir mal conseillé dans le cadre de la constitution d'un nouveau trust appelé "... Trust". Par courrier du 8 juin 2004, H.X._ a résilié tous les mandats confiés à Z._. Par la suite, il lui a demandé, par voie judiciaire, de rendre compte. H.X._ est décédé le 23 janvier 2005. B. Le 11 mai 2006, F.X._ et la société Y._, en qualité d'exécuteurs testamentaires de la succession H.X._, ont déposé devant le Tribunal de première instance de Genève une demande en restitution de 1'000'000 US$ à l'encontre de Z._, contestant l'existence d'une donation valable. Par jugement du 6 novembre 2008, le Tribunal de première instance a rejeté la demande avec suite de dépens, admettant l'existence d'une donation. Par arrêt du 19 juin 2009, la Cour de justice du canton de Genève a confirmé le jugement attaqué avec suite de dépens. C. F.X._ et la société Y._ exercent un recours en matière civile au Tribunal fédéral contre l'arrêt du 19 juin 2009. Invoquant l'arbitraire dans l'appréciation des preuves et l'établissement des faits, ainsi qu'une violation des art. 1, 18, 19, 20, 239 et 242 CO, les recourantes concluent à l'annulation de l'arrêt attaqué et à ce que l'intimé soit condamné à leur verser la somme de 1'000'000 US$ avec intérêts à 5% dès le 30 mars 2006 sous suite de dépens. L'intimé a conclu au rejet du recours avec suite de frais et dépens. 