Faits : A. Par arrêt du 23 septembre 2005, la Cour correctionnelle genevoise statuant avec jury a condamné A._ pour abus de confiance aggravés à la peine de vingt-quatre mois d'emprisonnement, sous déduction de la détention préventive. Elle a réservé les droits des quatre parties civiles, à savoir B._, l'hoirie de C._, D._ SA et E._, et condamné A._ à leurs dépens ainsi qu'aux frais de la procédure. Statuant le 13 octobre 2006, la Cour de cassation genevoise a rejeté le pourvoi en cassation de A._. B. En résumé, la condamnation pour abus de confiance aggravés de A._ repose sur les faits suivants: De 1982 à 1998, A._ était l'ayant droit économique, l'administrateur avec signature individuelle et le directeur de F._ SA, qui avait pour activité la gestion de fortune de nombreux clients étrangers, dont certains médiatiquement célèbres. Il gérait ainsi personnellement les comptes bancaires des clients, ouverts en leur nom propre ou au nom de sociétés. Il est admis que, jusqu'en 1993, la politique de gestion de F._ SA a été prudente, conservatrice et conforme aux souhaits de sa clientèle. B.a S'agissant de B._ Le 28 mai 1993, B._ et son épouse ont confié à F._ SA la gestion de leur compte mmm à la Banque H._. Le 18 octobre 1995, après avoir été convaincu par A._ que l'acquisition d'actions G._ cotées en bourse, à hauteur de 1'000'000 USD, ne représentait pas un investissement trop élevé, B._ a donné l'ordre à la Banque H._ de transférer 1'000'000 USD chez le courtier new-yorkais K._ pour l'achat de 400'000 titres au prix de 2,5 USD l'action. Ces actions ont été déposées sur son compte mmm. B._ recevait des décomptes bancaires de F._ SA et vérifiait son compte deux fois l'an. En 1996, ayant besoin d'argent, B._ apprenait que la vente des actions G._ était soumise à des restrictions liées au titre même et à la législation américaine et commençait à perdre confiance, mais il fut rassuré par la vente de 31'000 actions au cours de 6,5 USD en juillet 1996. Le 27 janvier 1997, il déposait une plainte pénale contre A._ pour abus de confiance et gestion déloyale, car le titre G._ n'avait alors plus aucune valeur. L'instruction et une expertise menée par M._ ont révélé que, parallèlement à l'achat des 400'000 titres G._ pour le compte de B._, A._ en avait acquis un million au prix de 1 USD l'unité de N._, broker américain, pour son compte personnel et qu'il se les était fait livrer matériellement. B.b S'agissant de C._ Entre juin et septembre 1996, feu C._ a viré en plusieurs fois 2'000'000 USD à la Banque O._ à Genève, à l'attention de A._ en vue d'investissements. Aucun compte n'a jamais été ouvert dans ladite banque au nom de C._ et les fonds, dès réception, ont été acheminés par A._ à la Banque O._ aux îles Caïman, sur divers comptes successifs soit lui appartenant soit ouverts par ses soins, sur lesquels il disposait de pouvoirs et qu'il a gérés à l'insu de son client. Le 29 mars 1997, C._ a déposé une plainte pénale contre A._, les investissements effectués par ce dernier ayant abouti à l'entière disparition des fonds remis. L'expertise de M._ a révélé que non seulement les fonds de C._ avaient été utilisés à d'autres fins que celles qui avaient été prévues, mais que "ces fins avaient été enrichissantes tant pour A._ que pour des tiers". B.c S'agissant de D._ SA B.c.a En 1992, D._ SA, dont A._ était directeur avec signature individuelle, a transféré 10'000'000 francs sur un compte aaa qu'elle avait ouvert à la Banque H._. Selon le mandat signé alors entre les parties, elle en a confié la gestion à A._. Le 23 juin 1997, D._ SA, soit pour elle P._, a déposé une plainte pénale contre A._ pour lui avoir fait perdre environ 6'900'000 francs. B.c.b Les 24 novembre 1995 et 5 décembre 1995, A._ avait fait débiter le compte aaa appartenant à D._ SA de 1'800'000 USD et de 1'275'000 USD en faveur d'un compte bbb que lui-même maîtrisait auprès de la Banque H._, et cela en contrepartie de l'acquisition de 700'000 actions R._, ce qui correspondait à un cours de 4,25 USD l'unité. Le 26 mars 1996, 18'000 actions ont encore été acquises moyennant un débit de 66'057 USD. Ces 718'000 titres ont perdu toute leur valeur à la fin 1996. Selon l'expert M._, A._ a acquis un total de 1'730'000 titres R._ (dont 700'000 ont été placés sur le compte aaa, 150'000 sur le compte ccc sur lequel A._ disposait de pouvoirs, 680'000 sur le compte ddd sur lequel A._ disposait de pouvoirs et 200'000 sur le compte eee dont l'ayant droit était E._) pour un investissement total de 2'000'000 USD, ce qui correspond à 1,2 USD l'unité. B.c.c Le 13 novembre 1995, en contrepartie d'un achat de 20'000 titres J._, prétendument hors bourse alors qu'il les avait déjà en sa possession pour les avoir précédemment acquis personnellement et gratuitement de N._, A._ a fait débiter le compte aaa de 103'064 USD. Ces titres ont perdu toute valeur à fin 1996. B.c.d Le 5 février 1996, le compte aaa a été débité de 375'000 USD en faveur d'un compte fff ouvert auprès du courtier new-yorkais K._, sans contrepartie. B.d S'agissant de E._ B.d.a En 1987, E._ a confié à A._, qui gérait ses avoirs bancaires depuis 1981, la gestion de ses avoirs bancaires détenus sur son compte eee International Ltd (Gibraltar) ouvert auprès de la Banque T._. En 1988, A._ a constitué eee International Inc. (Panama), dont il était l'ayant droit économique, puis a ouvert un compte à sa société le 5 juin 1989 auprès de la Banque T._, sur lequel il a fait transférer les avoirs de eee International Ltd (Gibraltar) au moyen d'un ordre rédigé sur un blanc-seing de E._. Le 30 avril 1992, A._ a ordonné à la Banque T._ de transférer tous les avoirs du compte eee International Inc. (Panama) sur un compte N° 111 eee ouvert par ses soins auprès de la Banque O._ sise aux îles Caïman, dont il était l'ayant droit économique et sur lequel il avait signature. E._ a déposé une plainte pénale contre A._ le 15 mars 2000 pour avoir diligenté les opérations suivantes à son insu. B.d.b Le 19 octobre 1995, A._ avait fait transférer 250'000 USD du compte N° 111 eee sur un compte fff, ouvert auprès du courtier new-yorkais K._, appartenant à N._. Le 31 octobre 1995, en contrepartie, il avait placé, sur le compte n° 111 eee, 140'000 actions G._ qu'il avait précédemment acquises pour son propre compte de N._ au prix unitaire de 1 USD. A la fin 1996, les titres G._ avaient perdu toute valeur. B.d.c Parallèlement à l'opération précédente, par le débit du compte N° 111 eee, A._ avait donné l'ordre à la Banque O._ Caïman d'acheter 15'000 titres G._ pour un montant de 90'000 USD, à savoir au cours de 6 USD l'action, alors que lui-même les avait acquises au cours de 1 USD. A la fin 1996, les titres G._ avaient perdu toute valeur. B.d.d De même, par un débit de 45'000 USD du compte N° 111 eee, A._ avait fait transférer, dans le portefeuille dudit compte, 6'000 actions G._, au cours de 7,5 USD l'action, en provenance d'un compte nnn qui était également ouvert à la Banque O._ Caïman. A la fin 1996, les titres G._ avaient perdu toute valeur. B.d.e Le 28 mars 1996, A._ avait donné l'ordre à la Banque O._ Caïman d'acheter 400'000 actions R._ pour le compte N° 111 eee, pour un montant de 1'512'500 USD, à savoir au cours de 3,78125 USD le titre. Il les avait précédemment acquises, via ses employés et/ou sociétés, puis déposées sur des comptes qu'il contrôlait, au cours de 1,2 USD. A la fin 1996, les titres R._ avaient perdu toute valeur. B.d.f Le 9 janvier 1996, A._ avait donné l'ordre à la Banque O._ Caïman d'acheter 5'000 actions S._ pour le compte N° 111 eee, pour un montant de 55'000 USD, au cours arrêté par lui-même à 11 USD le titre. Il les avait précédemment acquises, via ses employés et/ou sociétés, puis déposées sur les comptes qu'il contrôlait, à un prix unitaire inférieur à 1 USD. A la fin 1996, les titres S._ avaient perdu toute valeur. B.e En droit, la cour cantonale a retenu à la charge de A._ le crime d'abus de confiance qualifié (art. 138 ch. 2 CP), considérant en substance qu'il avait acquis, pour lui-même et en toute connaissance de cause, avec les fonds de ses clients, des titres hautement spéculatifs, qu'il les avait placés ensuite dans leurs portefeuilles à des prix ne correspondant pas à leur valeur, ce qui lui avait occasionné un bénéfice constitutif d'un enrichissement illégitime. Le recourant ayant agi en qualité de gérant de fortune, elle a appliqué l'art. 138 ch. 2 CP. Elle a exclu d'emblée le délit de gestion déloyale (art. 158 CP), car cette infraction, réprimée par l'emprisonnement simple, était prescrite, les faits s'étant produits il y a plus de sept ans (art. 70 CP, teneur au 1er octobre 2002), voire sept ans et demi (art. 70 CP nouveau). C. Contre l'arrêt cantonal, A._ dépose un recours de droit public et un pourvoi en nullité devant le Tribunal fédéral. Dans le recours de droit public, il se plaint de la violation du principe de l'égalité des armes, de l'arbitraire dans l'établissement des faits ainsi que de la violation du principe de la célérité. Dans le pourvoi, il conteste que le crime d'abus de confiance soit réalisé (art. 138 CP) et soutient que la peine qui lui a été infligée devrait être réduite en application de l'art. 64 avant-dernier alinéa CP et du fait de la violation du principe de la célérité. Dans les deux recours, il conclut à l'annulation de l'arrêt attaqué et sollicite l'effet suspensif. Appelé à se déterminer, le Ministère public genevois conclut au rejet du pourvoi. 