Faits: A. X._, né en 1927, et dame X._, née en 1924, se sont mariés en 1949 et ont toujours vécu depuis lors à Y._ (Genève). B. Le 12 août 2003, les époux ont conclu un pacte successoral par-devant un notaire à Soleure et en présence de deux témoins, exposant vouloir définir leurs relations successorales à la mort du conjoint survivant ou dans l'éventualité de leur décès simultané (par. 1 al. 1 et par. 2). Ils ont d'abord rappelé avoir réglé séparément le cas du conjoint survivant, en ce sens que celui-ci recevait l'intégralité des biens des époux (par. 1 al. 2), et précisé ne pas avoir d'héritier réservataire (par. 3). Ensuite, les époux ont exprimé leurs souhaits au sujet de leurs biens meubles et immobiliers (par. 4, 8 et 9), ont institué héritiers par parts égales les neveux de l'épouse, D._ et C._, ainsi que deux avocats et notaires soleurois, A._ et B.Z._ (par. 5), ont attribué un legs de 100'000 fr., sous condition, à leur employée de maison (par. 7), et ont désigné A._ et B.Z._ en qualité d'exécuteurs testamentaires (par. 11). C. Aux dires de dame X._, son époux serait tombé gravement malade dans le courant de l'année 2003. X._ est décédé le 23 mai 2007. C.a Le 26 juin 2007, B.Z._ a adressé à la Justice de paix une copie certifiée conforme du pacte successoral du 12 août 2003 et du testament olographe du défunt daté du 29 janvier 1996, instituant son épouse unique héritière. Les par. 3 à 9 du pacte successoral remis à la Justice de paix étaient censurés, avec la mention apposée par A.Z._ qu'ils ne concernaient pas la succession du conjoint prédécédé. Une copie de ces documents a été envoyée à la veuve trois jours plus tard. Celle-ci a expliqué avoir été intriguée par les "démarches curieuses" de la famille Z._ et réclamé à B.Z._ une copie complète du pacte successoral du 12 août 2007. Celui-ci a déféré à sa requête le 25 mai 2009. C.b Par courrier du 8 mars 2010, la veuve a fait savoir à D._, C._, A.Z._ et B.Z._ que le contenu du pacte successoral ne correspondait pas à sa volonté ni à celle de son époux et qu'ils avaient été victimes d'une erreur essentielle, voulant uniquement s'instituer héritier l'un l'autre. Considérant le par. 5 du pacte successoral comme une disposition testamentaire unilatérale, elle entendait le modifier en application de l'art. 509 CC et invalider formellement le pacte successoral. Mis en demeure par la veuve un mois plus tard d'accepter la révocation, respectivement l'invalidation des dispositions du pacte successoral, seuls D._ et l'employée de maison ont accepté. Dans l'intervalle, par testament olographe du 23 mars 2010, la veuve a institué D._, son employée de maison et deux paroisses en qualité d'héritiers. C.c Le 7 juillet 2010, la veuve a ouvert action contre A.Z._, B.Z._ et C._ devant le Tribunal de première instance du canton de Genève aux fins de faire constater que les dispositions testamentaires du pacte successoral, en particulier le par. 5, avaient été librement révoquées, subsidiairement de "dire et juger" que ces dispositions avaient été valablement invalidées et étaient de nul effet. Les défendeurs ont excipé de l'incompétence ratione loci du tribunal saisi. Par jugement du 15 mars 2011, le Tribunal de première instance a rejeté l'exception d'incompétence. Sur appel de A.Z._, B.Z._ et C._, la Chambre civile de la Cour de justice du canton de Genève (ci-après: la Cour de justice) a confirmé, par arrêt du 9 décembre 2011, la décision querellée. D. Par acte du 30 janvier 2012, A.Z._, B.Z._ et C._ interjettent un recours en matière civile au Tribunal fédéral. Ils concluent à la réforme de l'arrêt attaqué en ce sens qu'il est constaté que les juridictions du canton de Genève ne sont pas compétentes pour connaître de l'action en constatation de droit introduite le 7 juillet 2010. A l'appui de leur conclusion, ils invoquent les art. 3 et 18 aLFors, 10 et 28 CPC et 166 CC. 