Faits: A. X._ est domicilié à Londres où il bénéficie de l'imposition sur le principe de remittance basis. Le 10 mai 2007, il a reçu une prestation en capital versée par la Fondation Pictet de libre passage. Un impôt à la source de CHF 116'865.96 a été retenu au titre de l'impôt fédéral direct ainsi que de l'impôt cantonal et communal. Le 5 septembre 2007, X._ a demandé à l'Administration fiscale du canton de Genève (ci-après l'Administration cantonale) le remboursement de l'impôt à la source prélevé. Il a joint à cette requête un formulaire comprenant une attestation des autorités fiscales britanniques du 29 août 2007 selon laquelle celles-ci avaient connaissance du versement en capital précité. Le 20 novembre 2007, l'Administration cantonale a demandé à X._ de lui faire parvenir une attestation des autorités fiscales britanniques certifiant que le capital avait été effectivement transféré en Grande-Bretagne. Le 12 juin 2008, X._ a informé l'Administration cantonale qu'il estimait que le transfert du capital n'était pas pertinent pour déterminer si l'impôt à la source devait lui être restitué. B. Par décision du 7 mai 2009, l'Administration cantonale a maintenu l'imposition de X._ au motif que les autorités fiscales de Grande-Bretagne n'avaient pas attesté que le capital avait été transféré en tout ou en partie dans ce pays. Le 14 mai 2009, X._ a recouru contre la décision de l'Administration cantonale. Par décision du 12 novembre 2010, la Commission cantonale de recours en matière administrative du canton de Genève a admis ce recours et ordonné à l'Administration cantonale de restituer à X._ l'impôt à la source de CHF 116'865.96 plus intérêts au taux légal. Par acte du 16 décembre 2010, l'Administration cantonale a recouru contre cette décision. La Chambre administrative de la Cour de justice (ci-après la Cour de justice) a statué le 12 avril 2011. Elle a admis le recours, annulé la décision de la Commission cantonale de recours et confirmé la décision de l'Administration cantonale du 7 mai 2009. C. Le 23 mai 2011, X._ a déposé un recours en matière de droit public auprès du Tribunal fédéral contre la décision de la Cour de justice. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué, à la confirmation de la décision de la Commission cantonale de recours du 12 novembre 2010 et à ce qu'il soit ordonné à l'Administration cantonale de lui restituer l'impôt à la source de CHF 116'865.96 plus intérêts au taux légal. La Cour de justice a renoncé à déposer des observations. Par courrier du 8 août 2011, l'Administration cantonale a conclu au rejet du recours, avec suite de frais. Par courrier du 13 octobre 2011, l'Administration fédérale des contributions a pris les mêmes conclusions. 