Faits: A. A.a Le 9 décembre 2003, Z._ Sàrl (ci-après: Z._), société ayant son siège à ... et appartenant à un groupe qui occupe plus de 300 personnes à travers le monde et exerce des activités de type fiduciaire, a signé avec A._ GmbH (ci-après: A._), société ayant son siège à ..., un contrat intitulé " Management Consultancy Agreement " par lequel Z._ confiait à A._, avec effet rétroactif au 1er septembre 2003, le soin de développer et de gérer une succursale que Z._ comptait ouvrir à ... ou à .... Pour ses services, A._ devait recevoir une rémunération de Z._, déterminée selon le contrat et qui ne pouvait s'élever au maximum qu'à 240'000 fr. par an. Il s'y ajoutait, à certaines conditions, une rémunération additionnelle, s'élevant au maximum à 150'000 fr. par an. L'accord prévoyait que, pendant la durée du contrat et pour une période de deux ans au-delà, ni A._, ni aucun de ses directeurs ne pouvait essayer de démarcher les clients de Z._, soit ceux pour lesquels Z._ avait été activement engagée pendant la durée du contrat. A._ s'engageait également, pendant la même période, à ne pas conclure de contrats, directement ou indirectement, avec d'actuels ou anciens directeurs ou employés de Z._ ayant fourni des services professionnels ou d'assistance à des clients de Z._ pendant cette période, ceci sans l'accord préalable écrit de Z._. Ces clauses, qualifiées de clauses de non-concurrence, étaient assorties d'une peine conventionnelle de 10'000 fr. par jour pour la durée de la violation. La société A._, qui fournit des services en matière administrative, financière et de gestion pour différents types de structures basées en Suisse et à l'étranger, a pour associés gérants, tous deux avec signature individuelle, les époux H.Y._ et F.Y._. La société n'emploie que H.Y._ à plein temps, ainsi qu'une assistante administrative à temps partiel. Par modification des statuts du 21 novembre 2008, la société a changé de dénomination et elle est devenue X._ GmbH (ci-après: X._). En annexe au contrat, H.Y._ a pris, en son nom personnel, différents engagements à l'égard de Z._, concernant notamment la confidentialité à observer et la clause de non-concurrence à respecter; une clause pénale identique à celle contenue dans la convention signée par A._ était reprise dans le document signé par H.Y._. A.b En exécution de cette convention, une succursale de Z._ a été ouverte à ..., avec inscription au registre du commerce le 19 mai 2004, et H.Y._ en a été nommé chef avec signature individuelle. Une seconde succursale de Z._ a été ouverte à ... le 27 juillet 2004 et H.Y._ en a également été nommé chef avec signature individuelle. Après deux ans d'activité, A._ s'occupait à plein temps des clients de Z._. H.Y._ était administrateur des sociétés clientes et s'occupait, notamment, de leurs déclarations fiscales, ainsi que de toutes leurs activités administratives. Il se chargeait également de la négociation de certains contrats et de leur exécution. Le 5 janvier 2009, A._, devenue X._, a débité le compte de la succursale ... de Z._ d'un montant de 204'440 fr., correspondant à une facture d'honoraires du 1er janvier 2009 relative à l'activité déployée durant les 3ème et 4ème trimestres 2008 et le 1er trimestre 2009, ainsi que d'un montant de 10'000 fr. à titre d'avance sur la participation au bénéfice de l'exercice 2008. A.c Le 30 mars 2009, Z._ a résilié le contrat conclu avec A._ (devenue X._) pour le 30 juin 2009. A.d Le 9 avril 2009, X._ a ouvert une succursale à ..., à la même adresse que la succursale de Z._, et elle a engagé l'assistante qui travaillait précédemment pour cette succursale. Par des courriers des 4 et 5 mai 2009, Z._ a annoncé à ses clients le départ de H.Y._ et son remplacement par deux nouveaux dirigeants; elle les a par ailleurs avisés que la succursale de ... devenait une société à responsabilité limitée et qu'elle reprendrait tous les contrats. Les parties sont ensuite entrées en litige, non seulement sur le décompte à opérer entre elles, mais aussi et surtout parce que Z._ reprochait à H.Y._ d'avoir contacté certains clients pour les inciter à transférer leurs dossiers à X._. H.Y._ a répondu que les clauses concernant l'interdiction de concurrence et la pénalité n'étaient à son avis pas applicables, parce que les rapports contractuels avaient été rompus par Z._. Cette dernière a contesté cette manière de voir. Le 15 mai 2009, la nouvelle société à responsabilité limitée R._ GmbH a été inscrite au registre du commerce de ..., à la même adresse que l'ancienne succursale et que X._. Un certain nombre de clients de Z._ ont manifesté la volonté de ne pas changer de mandataire et de continuer leurs relations avec H.Y._ par le biais de sa société X._. Il a été retenu que H.Y._ était intervenu activement, à l'égard de trois clients, pour les détourner de poursuivre leurs relations avec Z._. Au moins sept sociétés clientes de l'ancienne succursale ont souhaité que leurs dossiers soient traités par H.Y._ et sa société X._. B. Par acte déposé au greffe du Tribunal de première instance de Genève le 19 novembre 2009, Z._ a formé une demande en paiement, réclamant à X._ la somme de 75'010 fr.54 avec intérêts à 5% dès le 10 avril 2009, ainsi que 500'000 fr. avec intérêts à 5% dès le 6 novembre 2009 et réclamant par ailleurs à H.Y._ la somme de 500'000 fr. avec intérêts à 5% dès le 6 novembre 2009. Le montant de 500'000 fr. se rapporte à la clause pénale, Z._ reprochant à ses parties adverses d'avoir violé la clause de non-concurrence, ainsi que la clause d'interdiction de démarchage (en engageant l'assistante). Les défendeurs se sont opposés à la demande et X._ a formé une demande reconventionnelle. Par jugement du 16 septembre 2011, le Tribunal de première instance a condamné X._ et H.Y._, solidairement, à payer à Z._ un montant de 150'000 fr. avec intérêts à 5% dès le 6 novembre 2009 et condamné X._ à verser à Z._ un montant de 10'450 fr.55 avec intérêts à 5% dès le 10 avril 2009; sur la demande reconventionnelle, il a condamné Z._ à payer à X._ un montant de 6'308 fr.40 avec intérêts à 5% dès le 1er juillet 2009; il a statué par ailleurs sur les frais et dépens. La somme de 150'000 fr. est fondée sur la clause pénale, le montant ayant été réduit parce qu'il a été jugé excessif. Les autres postes concernent des participations au bénéfice qui ne sont plus litigieuses devant le Tribunal fédéral. X._ et H.Y._ ont appelé de ce jugement, concluant principalement au rejet de la demande principale. Z._ a conclu à la confirmation du jugement entrepris. Par arrêt du 28 septembre 2012, la Chambre civile de la Cour de justice du canton de Genève a confirmé le jugement attaqué et statué sur les frais et dépens. C. X._ et H.Y._, agissant par le même acte, exercent un recours en matière civile au Tribunal fédéral. Invoquant une constatation manifestement inexacte des faits, une violation de l'art. 163 al. 3 CO, une violation du principe de la confiance et du droit d'être entendu, ils ont conclu, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et à la condamnation de X._ à payer une peine conventionnelle n'excédant pas 16'000 fr.; subsidiairement, ils ont demandé que X._ et H.Y._ soient condamnés solidairement à payer une peine conventionnelle ne dépassant pas 16'000 fr.; plus subsidiairement encore, ils ont demandé que la cause soit renvoyée à l'autorité cantonale. L'intimée a conclu à l'irrecevabilité et subsidiairement au rejet du recours avec suite de frais et dépens. Les parties ont répliqué et dupliqué. 