Faits: A. Par contrat du 9 août 1996, C._, D._ et la Société Immobilière B._ SA (ci-après: le consortium) obtinrent de la Banque Y._ (ci-après: la banque) un prêt hypothécaire de 6'640'000 fr. à un taux d'intérêts de 4% par an; l'échéance initiale du prêt était fixée au 31 décembre 2006 et le prêt devait être amorti par 150'000 fr. au 31 décembre 2001, puis par 100'000 fr. annuellement pendant les années 2002 à 2006. Le consortium remit à la banque deux cédules hypothécaires à titre de sûretés; il lui céda en outre l'état locatif net de l'immeuble grevé et lui donna le mandat de gestion immobilière. Selon les conditions spéciales applicables aux prêts hypothécaires annexées au contrat et contresignées par les cocontractants, le prêt ou crédit était exigible de plein droit et sans délai en cas de retard de plus de trente jours dans le paiement des intérêts, amortissements, commissions ou autres accessoires. La relation bancaire portait le numéro 2003 (...). Des différends apparurent rapidement entre les parties. La banque reprocha en particulier au consortium de ne pas respecter les échéances prévues. Par lettre du 31 mai 2000 adressée à la banque, C._, qui exerce la profession d'avocat, exposa que le consortium et la banque avaient trouvé un accord notamment sur les points suivants: 1) le montant du capital du prêt et des intérêts reconnus par les parties au 31 décembre 1999 était de 6'294'885 fr. 75; 2) la facturation des intérêts au taux annuel de 4% était suspendue jusqu'à atteindre le solde des montants reconnus, soit 6'294'885 fr. 75; 3) les amortissements étaient décalés de deux ans dans le temps, le premier amortissement de 150'000 fr. étant reporté au 31 décembre 2003; 4) l'échéance du prêt était reportée de trois ans. Par lettre du 16 juin 2000 adressée à C._, la banque contesta les termes du courrier en précisant qu'ils ne reflétaient aucune réalité. C._ répondit le 20 juin 2000. Il maintint les termes de son courrier, soutenant qu'ils correspondaient à un accord entre les parties. Le 19 décembre 2000, la banque informa le consortium qu'elle avait cédé sa créance résultant du prêt à W._ avec effet au 30 juin 2000, (...); elle précisait que la créance était alors de 6'845'372 fr. 95 en capital, frais et intérêts. Au sein de W._, le dossier a été pris en charge par X._, membre de la direction. Par courrier du 15 février 2001 adressé à la banque et à W._, le consortium contesta la cession ainsi que le montant articulé. Le 20 mars 2003, W._ dénonça notamment ce prêt au remboursement pour cause de retard accumulé dans le paiement des intérêts et invita les trois membres du consortium à verser solidairement la somme de 6'722'152 fr. 55 jusqu'au 15 avril 2003. En date du 18 septembre 2003, le consortium s'acquitta d'un montant de 6'793'890 fr. 25 en faveur de W._. B. En septembre 2004 puis en octobre 2005, les trois membres du consortium, agissant conjointement et solidairement, firent notifier chaque fois trois commandements de payer pour un montant de 3'600'000 fr. plus intérêts respectivement à W._, à X._ et à la banque, "notamment pour rupture abusive du crédit, actes illicites, inexécution contractuelle, enrichissement illégitime, culpa in contrahendo, dommage complémentaire 106 CO". Les commandements de payer furent frappés d'opposition; le consortium ne requit pas la mainlevée. Le 20 juin 2006, les trois membres du consortium cédèrent à l'Association A._ (ci-après: A._) tous leurs droits, sous réserve des créances en tort moral, découlant du litige les opposant à la banque, à W._ et à X._. Le 12 juillet 2006, W._, la banque et X._ ouvrirent action en constatation négative contre les trois membres du consortium devant le Tribunal de première instance de Genève. Ils conclurent à ce qu'il soit constaté qu'ils ne devaient pas tout ou partie des montants mis en poursuite. En novembre 2006 puis encore ultérieurement, les trois membres du consortium ainsi que A._ envoyèrent à nouveau trois commandements de payer qui furent frappés d'opposition. Ils ne requirent pas la mainlevée. Dans leur réponse à l'action judiciaire en constatation négative, les membres du consortium conclurent au rejet. A._ déposa une demande en intervention principale qui fut finalement déclarée recevable. W._ cessa d'exister au 31 décembre 2009 (...). Z._ lui succéda à titre universel. Le Tribunal de première instance (15e Chambre) admit l'action en constatation négative par jugement du 29 avril 2010. En conséquence, il constata que Z._, la banque et X._ ne devaient pas aux membres du consortium ni à A._ tout ou partie des montants mis en poursuite; il annula les poursuites correspondantes et ordonna à l'office des poursuites de les radier. C. Les trois membres du consortium et A._ se pourvurent en appel, concluant au rejet de l'action négatoire de droit et à la constatation qu'ils sont créanciers de Z._, de la banque et de X._. Ces derniers conclurent au rejet de l'appel. Les appelants soutenaient qu'il y avait eu accord sur le fait que le solde du prêt était arrêté au 31 décembre 1999 à 6'294'885 fr. 75 en capital et intérêts, que la facturation des intérêts au taux annuel de 4% était suspendue jusqu'à atteindre le solde précité, que les loyers perçus devaient être affectés au remboursement de cette somme et que les amortissements étaient décalés dans le temps. Statuant par arrêt du 13 juillet 2011, la Chambre civile de la Cour de justice rejeta l'appel, confirma le jugement entrepris, statua sur les dépens et débouta les parties de toutes autres conclusions. La Chambre retint en substance que les appelants basaient leur argumentation principalement sur l'accord décrit dans la lettre du 31 mai 2000, que la conclusion de cet accord n'avait toutefois pas été démontrée et que les relations des parties étaient donc toujours régies par le contrat du 9 avril 1996; sur la base des relevés de compte de la banque et de W._, la Chambre civile conclut que W._ était habilitée à dénoncer le prêt pour cause de retard dans le paiement des intérêts. Pour le surplus, la Chambre nia une gestion déficiente de la relation bancaire par la banque ou par W._ ainsi que la commission d'actes illicites par X._. D. A._ et les trois membres du consortium (ci-après: les recourants) interjettent un recours en matière civile auprès du Tribunal fédéral. Ils concluent à ce que l'action négatoire soit rejetée et à ce qu'il soit constaté qu'ils sont les créanciers de Z._, de la banque et de X._ (ci-après: les intimés). L'intimé X._ conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. Les deux autres intimés s'en remettent à justice pour ce qui concerne la recevabilité du recours et concluent au rejet sur le fond. L'autorité précédente se réfère à son arrêt. Le recours bénéficie de l'effet suspensif en vertu de l'ordonnance présidentielle rendue le 11 octobre 2011. 