Faits: A. X._ et H.Y._, qui sont tous deux domiciliés en Angleterre, ont entretenu des relations professionnelles pendant de nombreuses années; des liens d'amitié se sont noués. En mai 1998, X._ a ordonné à sa banque, soit la banque A._ SA à Genève, de virer 200'000 £ en Angleterre à l'attention des deux enfants des époux H.Y._ et F.Y._. Les transferts ont été effectués le 18 juin 1998. Le 19 juin 1998, la somme de 334'448 $, équivalant à 200'000 £, a été créditée sur un compte de X._ auprès de la banque B._ SA (ci-après: la banque B._) à Genève. Le montant provenait d'un compte appartenant à R._ SA (ci-après: R._). Aux dires mêmes de H.Y._, cette société était détenue économiquement par la fiduciaire S._ dont il était l'un des associés. Le 7 juillet 1998, X._ a donné l'ordre à la banque B._ de débiter 334'448 $ de son compte pour les créditer sur le compte de R._. Entre 1998 et 2003, X._ et H.Y._ ont connu des démêlés avec la justice britannique, ainsi qu'avec la justice américaine s'agissant du premier, pour des questions de falsification de documents et de blanchiment d'argent. En 2003, X._ a réclamé le remboursement de 200'000 £ aux époux Y._. B. B.a Le 30 janvier 2004, X._ a actionné H.Y._ et F.Y._ en remboursement de 200'000 £ devant le Tribunal de première instance du canton de Genève. Il a laissé l'instance se périmer. Le 4 février 2008, il a déposé devant l'autorité précitée une nouvelle demande tendant au paiement de 334'448 $ plus intérêts. H.Y._ et F.Y._ ont soulevé un incident d'incompétence ratione loci. Selon la version de X._, les époux Y._ auraient souhaité donner de l'argent à leurs enfants pour leur permettre d'acquérir un bien immobilier à Londres. Pour des raisons fiscales, ils auraient demandé à X._ de procéder à une donation fictive en versant 200'000 £ à leurs enfants et de concéder ainsi un prêt de courte durée aux époux Y._. Ceux-ci lui auraient remboursé l'équivalent en dollars le 19 juin 1998 par le compte de la société R._, mais en raison de ses ennuis judiciaires, X._ aurait rétrocédé ce versement, de sorte qu'il conserverait une prétention en remboursement du prêt. Selon la version défendue par les époux Y._, X._ aurait fait une véritable donation à leurs enfants. Le transfert de fonds opéré le 19 juin 1998 n'aurait rien à voir avec cette opération. La société R._ aurait détenu 200'000 £ auprès de la banque B._ pour le compte d'un client sud-africain de la fiduciaire S._; H.Y._ aurait fait verser l'équivalent de cette somme en dollars à X._ pour qu'il la restitue à la veuve de ce client dans le cadre d'un voyage qu'il s'apprêtait à effectuer en Afrique du Sud; X._ lui aurait rétrocédé cette somme en raison de ses démêlés avec la justice. B.b Par jugement du 5 mars 2009, le Tribunal de première instance s'est déclaré incompétent à raison du lieu. La Cour de justice a annulé cette décision le 13 novembre 2009 en faisant les considérations suivantes: L'art. 5 ch. 1 de la Convention de Lugano du 16 septembre 1988 (CL 1988) permet, en matière contractuelle, d'attraire le défendeur dans un autre Etat contractant que celui de son domicile, à savoir l'Etat où l'obligation qui sert de base à la demande a été ou doit être exécutée. Le lieu d'exécution au sens de cette disposition peut être déterminé par accord des parties. Il incombe au demandeur de prouver la réalisation de cette condition, comme les autres conditions de la compétence. A ce stade, l'existence du contrat de prêt doit être présumée, en vertu de la théorie des faits à double pertinence. Dans la mesure où le débiteur de la prestation caractéristique du contrat de prêt allégué dispose d'une résidence habituelle en Grande-Bretagne, il revient au droit anglais de déterminer le lieu d'exécution du remboursement du prêt (art. 117 LDIP). Selon un avis de droit anglais dont la teneur n'est pas contestée par les parties, le débiteur doit effectuer sa prestation au lieu de résidence ou d'affaires du créancier, sauf convention contraire. Une telle convention peut être expresse ou tacite. En l'occurrence, les premiers juges ont décliné leur compétence ratione loci sur la seule base de cet avis de droit sans rechercher si, au vu des éléments factuels du dossier, les parties avaient convenu d'un éventuel accord quant au lieu de remboursement du prêt. La cause doit donc être renvoyée au tribunal pour qu'il instruise cette question et rende une nouvelle décision sur sa compétence à raison du lieu. B.c Par jugement du 20 décembre 2010, le Tribunal de première instance s'est déclaré incompétent à raison du lieu et a déclaré irrecevable la demande en paiement formée par X._. Il a considéré que le demandeur n'avait pas rapporté la preuve d'un accord prévoyant le remboursement du prêt à Genève; rien ne permettait en particulier de retenir que les transferts effectués à la banque B._ en juin et juillet 1998 l'avaient été pour les motifs allégués par le demandeur plutôt que pour ceux allégués par les défendeurs, aucune des parties n'apportant de preuve concluante de sa propre version des faits. B.d X._ a déféré cette décision à la Chambre civile de la Cour de justice en concluant au rejet de l'incident d'incompétence et au renvoi de la cause au juge de première instance afin qu'il l'instruise et impartisse un délai de réponse à la partie adverse. L'appel a été rejeté par arrêt du 17 juin 2011. C. X._ (ci-après: le recourant) interjette un recours en matière civile auprès du Tribunal fédéral. A titre principal, il conclut au rejet de l'incident d'incompétence ratione loci et au renvoi de la cause aux autorités genevoises afin qu'elles en poursuivent l'instruction et impartissent un délai de réponse à H.Y._ et F.Y._ (ci-après: les intimés). Les intimés concluent au rejet du recours. L'autorité précédente se réfère à son arrêt. 