Faits: A. A.a Y.W._ et Z.W._ sont les promoteurs du projet immobilier ..., sur la commune de .... Par l'intermédiaire de R._, qui gère une agence immobilière à ..., B._, de nationalité suédoise et domicilié à Singapour, s'est intéressé à acquérir un chalet de la promotion .... Le 30 juin 2000, il est devenu propriétaire de l'unité d'étage no xxx de la parcelle de base no 1 et de la quote-part de 2/14e de la part d'étage no zzz de la parcelle de base no 3. L'acte de vente a été signé, pour le compte de l'acquéreur B._ par R._. Le prix de vente convenu était de 4'000'000 fr., payable à concurrence de 400'000 fr. à la date de la signature, de 1'200'000 fr. au début des travaux, de 1'200'000 fr. à la mise sous toit, de 800'000 fr. à l'exécution des chapes, de 350'000 fr. à la prise de possession, et de 50'000 fr. dès l'exécution des travaux de retouches. En cas de retard dans le paiement des acomptes, la perception d'intérêts moratoires était prévue. Dans l'hypothèse d'un refus d'autorisation de vente au sens de la LFAIE, nécessaire au regard du domicile de l'acquéreur, les vendeurs s'obligeaient à restituer les acomptes sans intérêts. L'entrée en jouissance devait intervenir en principe le 1er décembre 2001. L'autorisation d'acquérir les unités d'étages précitées a été délivrée le 22 mars 2001 par le service juridique du registre foncier. Le 9 mai 2001, un acte de modification de propriété par étages et de constitution de servitudes d'usage d'une installation de funiculaire/ascenseur et de servitude de passage à pied a été instrumenté. Les deux servitudes ont été constituées en faveur des promoteurs, mais à la charge des parcelles nos 1, 2, 3 et 4 pour la première et à la charge de la parcelle no 1 pour la seconde. En cas de mise en oeuvre des servitudes, un accord a été convenu entre les promoteurs et l'acquéreur B._, qui devait alors bénéficier d'un montant de 100'000 fr. pour l'extension du funiculaire et d'un même montant pour le passage à pied. A.b Par acte du 18 juin 2001, les promoteurs ont vendu à A._ l'unité d'étage no yyy de la parcelle de base no 1 et la quote-part de 1/14e de la part d'étage no zzz de la parcelle de base no 3. Sur le prix de vente convenu de 1'800'000 fr., 720'000 fr. étaient déjà versés. Le solde était payable à raison de 540'000 fr. à la mise sous toit, de 360'000 fr. à l'exécution des chapes, de 130'000 fr. à la prise de possession, et de 50'000 fr. dès l'exécution des travaux de retouches. B._ a financé l'acquisition du bien immobilier par A._. L'autorisation d'acquérir les unités d'étages précitées a été délivrée le 17 juillet 2001 par le service juridique du registre foncier. A.c Les promoteurs ont confié à X._ SA le soin de construire les immeubles acquis par B._ et A._. Les travaux ont débuté durant l'été 2000. La surveillance du chantier était assurée, pour le compte de B._, par la société offshore V._ Ltd, de siège à ..., puis par S._, qui travaillait au service de cette dernière société. En été 2001, les travaux ont subi "un certain retard" en raison, notamment, d'une interruption du 2 au 20 août imposée par la commune de .... Dès le mois d'octobre 2001, des tensions ont surgi entre les parties. B._, en proie à des difficultés financières, a alors manifesté sa volonté d'aliéner le chalet. A l'instar de A._, il entendait revendre les unités d'étages litigieuses. A.d Les acomptes dus à l'exécution des chapes n'ont pas été payés dans le délai contractuellement fixé. Le 15 octobre 2001, les promoteurs ont interrompu les travaux et adressé une sommation à B._ pour la totalité des montants dus au titre de 4ème acompte (1'160'000 fr.), ainsi que pour les plus-values exécutées (259'743 fr.). Ils lui impartissaient un délai fixé au 9 novembre 2001 pour payer les montants en question, à défaut de quoi ils entendaient se départir des contrats de vente des 30 juin 2000 et 18 juin 2001. Il n'a pas été établi que les acquéreurs avaient pris, avant le 15 octobre 2001, la décision de se départir du contrat. Aucun montant n'ayant été payé au terme fixé, les parties ont entrepris des pourparlers tendant à mettre fin aux contrats. Un accord a été trouvé le 21 février 2002: le contrat de vente du 30 juin 2000 portant sur l'unité d'étage no xxx et une quote-part du no zzz et celui du 18 juin 2001 portant sur l'unité d'étage no yyy et une quote-part du no zzz ont été annulés. D'éventuelles prétentions en réparation du dommage subi étaient réservées. Le 18 octobre 2002, B._ et A._ "renon(çaient) définitivement à l'achat pour ne pas être complices d'une violation de la législation suisse". Ils soutenaient que la société X._ SA avait déterminé les surfaces nettes de plancher habitables des unités d'étages acquises de manière erronée et articulaient des prétentions à hauteur de 1'072'920 fr., qui incluaient un intérêt sur les acomptes versés, les frais d'actes de vente et de constitution de propriété par étages, les frais d'intervention de Me Philippoz, les honoraires de S._, divers frais de B._ et les dommages-intérêts pour violation des droits de la personnalité de B._. Les biens immobiliers litigieux ont été revendus le 1er février 2002. Les actes de vente spécifiaient que leur validité était subordonnée à l'annulation des actes conclus les 30 juin 2000, respectivement 18 juin 2001, qui portaient sur les mêmes immeubles. B. Le 12 mai 2003, A._ et B._ ont ouvert action contre Y.W._, Z.W._ et la société X._ SA, concluant au paiement de la somme de 533'212 fr.15 avec intérêts à 5% dès février 2003. Les prétentions des demandeurs étaient fondées sur l'annulation des contrats passés les 30 juin 2000 et 18 juin 2001 ainsi que sur une atteinte à la personnalité de l'un des intimés. Les défendeurs ont conclu au rejet de la demande. Dans le cadre de l'instruction de la cause, deux expertises ont été administrées. Les experts ont notamment chiffré les surfaces nettes de plancher habitables des unités d'étages nos yyy et xxx et relevé, s'agissant de ces surfaces, une différence entre les plans réalisés pour la mise à l'enquête et ceux d'exécution. Après clôture de l'instruction, le juge de district en charge de l'instruction de la cause a transmis le dossier au Tribunal cantonal du canton du Valais pour jugement. La Cour civile II du Tribunal cantonal valaisan a rejeté la demande par jugement du 27 septembre 2010. L'autorité cantonale a tout d'abord dénié à l'intimée X._ SA la qualité pour défendre. S'agissant des deux autres intimés, Y.W._ et Z.W._, elle a retenu qu'ils n'encouraient aucune responsabilité dans l'annulation des contrats mixtes, ce qui avait pour effet de sceller le sort des prétentions en dommages-intérêts des recourants. Dans une argumentation subsidiaire, les magistrats valaisans ont examiné chaque créance d'honoraires dont le paiement est réclamé à titre de dommages-intérêts et rejeté les prétentions s'y rapportant; toute violation des dispositions afférentes à l'instrumentation des actes notariés a notamment été niée. La cour cantonale a également interprété l'accord passé le 21 février 2002 concernant l'annulation des contrats et considéré qu'aucun intérêt n'avait été convenu entre les parties sur les acomptes versés à restituer. L'autorité précédente a enfin rejeté toute atteinte à la personnalité du recourant B._, imputée aux intimés Y.W._ et Z.W._. C. A._ et B._ (ci-après: les recourants) exercent un recours en matière civile au Tribunal fédéral contre le jugement précité. Ils reprochent à l'autorité cantonale de ne pas avoir imputé la responsabilité de la rupture des contrats de vente aux seuls intimés, qui auraient par leur comportement violé la LFAIE. Subsidiairement, ils invoquent une violation du droit d'être entendu garanti par l'art. 29 al. 2 Cst. et une violation de "l'art. 6 al. 3 let. d CEDH" et invoquent également un déni de justice. Ils développent enfin diverses "motivations supplémentaires", qui se rapportent à l'instrumentation des actes notariés, à la constitution des servitudes d'usage et de passage et, enfin, à l'interprétation de la convention d'annulation. Les recourants concluent à l'admission du recours, à l'annulation du jugement et au renvoi de la cause à l'autorité cantonale pour jugement, "étant précisé que les co-défendeurs sont responsables de la rupture du contrat de l'acte notarié de vente des PPE et doivent supporter les dommages causés de ce chef aux recourants Messieurs A._ et B._". Y.W._, Z.W._ et la société X._ SA (les intimés) concluent au rejet du recours, dans la mesure de sa recevabilité, avec suite de frais et dépens. L'autorité précédente se réfère aux considérants du jugement rendu. Les demandes de sûretés en garantie des dépens formulées par les intimés ont été rejetées par ordonnance présidentielle du 22 décembre 2010. 