Faits: A. A.a Le 25 juillet 2000, X._ et Y._ SA ont conclu un contrat de représentation. Aux termes de celui-ci, X._ était chargé de trouver des acheteurs de sucre, matière que lui livrerait Y._ SA, et d'en négocier la vente. A la suite de la conclusion de ce contrat, X._ a demandé à cette société d'importants montants. Celle-ci a ainsi viré à Z._, une des sociétés du groupe A._, dont X._ est l'ayant-droit et le dirigeant, 1'450'000 US dollars le 2 août 2000, 2'200'000 US dollars le 16 novembre 2000 et 4'100'000 US dollars le 8 février 2001. X._ a utilisé l'essentiel de ces fonds, ce à d'autres fins que celles convenues entre les parties. Par arrêt du 20 mai 2005, la Cour correctionnelle avec jury du canton de Genève a condamné X._, par défaut, à 30 mois d'emprisonnement et à 5 ans d'expulsion du territoire suisse, pour abus de confiance. A.b Par arrêt du 31 octobre 2008, la Cour de cassation du canton de Genève a rejeté le pourvoi de X._. A.c Par arrêt 6B_1011/2008 du 26 mars 2009, le Tribunal fédéral a admis le recours déposé par ce dernier, annulé l'arrêt attaqué et renvoyé la cause à l'autorité cantonale pour nouvelle décision. Cet arrêt repose sur les éléments suivants: X._ était renvoyé devant la Cour correctionnelle pour escroquerie. A l'audience de jugement, avant la clôture des débats, la Présidente de cette cour a informé les parties qu'elle entendait poser la question complémentaire de l'abus de confiance. Malgré l'opposition de X._, la Présidente a prononcé la clôture des débats et ordonné que cette question soit posée à chacune des questions principales. L'audience n'a pas été suspendue. Au vu de ces éléments, le Tribunal fédéral a considéré que X._ n'avait pas disposé du temps nécessaire pour préparer sa défense. Il a dès lors admis la violation du principe d'accusation et partant le recours. B. B.a Par arrêt du 28 avril 2010, la Cour correctionnelle avec jury du canton de Genève a condamné X._, par défaut, pour abus de confiance, à 24 mois de peine privative de liberté, avec sursis et délai d'épreuve de 2 ans. B.b Par arrêt du 2 février 2011, la Cour de cassation du canton de Genève a rejeté le pourvoi de X._. B.c Ce dernier forme un recours en matière pénale. Il conclut à l'annulation de cet arrêt et à ce qu'il soit libéré des fins de la poursuite pénale dirigée contre lui. Il requiert subsidiairement son acquittement et plus subsidiairement encore le renvoi de la cause à l'autorité inférieure pour nouvelle décision dans le sens des considérants. Il n'a pas été ordonné d'échange d'écritures. 