Faits : Faits : A. Par jugement du 2 février 2006, le Tribunal correctionnel de l'arrondissement de Lausanne a notamment condamné X._, pour escroquerie et abus de confiance, à deux ans d'emprisonnement. Cette condamnation repose, en bref, sur les éléments suivants. A.a X._, d'origine sicilienne, est né en 1954. Il a créé la société Y._, qui s'occupe de placements et de petits crédits. Il était un des directeurs de Z._ SA, société d'affichage électronique, fondée par A._ en 2000 et tombée en faillite deux ans plus tard. Ce dernier, informaticien de formation, a mis au point le système "Scubiac", programme de spéculations concernant des courses hippiques françaises. Les deux hommes ont travaillé ensemble, X._, dans le cadre de sa société Y._, pouvant amener des fonds que A._ devait placer dans des paris sur les courses de chevaux. En règle générale, le premier allait démarcher ses compatriotes pour obtenir des fonds à placer, sans toutefois leur indiquer en quoi consistaient ces placements. Il leur expliquait que cela rapportait beaucoup plus que de garder cet argent sur des comptes bancaires. Il ne leur parlait jamais de paris sur des courses de chevaux, quand bien même il a pu citer le mot "Scubiac". Dans la mesure où les investisseurs avaient en lui une confiance absolue, X._, qui passait pour un grand financier, ne donnait pas forcément beaucoup d'explications, ce d'autant plus que la majorité de ses clients étaient totalement ignares en matière de finances. Les deux acolytes n'ont pu que se rendre compte rapidement que les investissements "Scubiac" ne rapportaient pas autant que ce qu'ils espéraient. En effet, à de rares exceptions près, ils n'ont jamais payé d'intérêts, ni remboursé les montants en capitaux. En réalité, ils ont perdu la majorité de leurs paris. A.b Dès 1995, dans le cadre de son activité au sein de Y._, X._ a obtenu des époux C._ un montant de 25'000 fr. Le 30 janvier 1998, il leur a fait signer un mandat de gestion spécifique pour des opérations relatives au marché des options sur titre et sur indices et vente à découvert, au rendement prévisible de 8 %. Entre 1999 et 2000, les époux C._ ont touché des intérêts à hauteur de 9'000 fr. Ils n'ont jamais reçu d'autres versements, ni le remboursement de leur capital. En effet, contrairement aux affirmations de X._ et aux contenus des contrats successifs, ce dernier a remis l'argent en prêt à une de ses connaissances, D._, dont le commerce avait besoin de liquidités. Lorsqu'ils ont été informés de ce prêt et placés devant le fait accompli, les lésés se sont résignés et ont accepté que D._ leur verse des acomptes. A.c Entre le 27 juin 1997 et le 24 septembre 2001, X._, dans le cadre de son activité au sein de Y._, a obtenu en plusieurs versements un montant de 993'000 fr. de E._, qui est analphabète. Ce dernier lui a confié toutes ses économies parce qu'ils se connaissaient depuis de très nombreuses années, qu'ils étaient amis et qu'il lui faisait entièrement confiance. E._, qui désirait un bon placement, a été appâté par des intérêts pouvant s'élever jusqu'à 20 % du capital selon ce qui lui avait été promis. Avec son comparse, X._ a perdu l'entier des fonds confiés dans des courses de chevaux, puis dans la société Z._. Il semble que 100'000 fr. aient été utilisés à la constitution de cette entreprise, avant qu'un montant de 77'000 fr. y soit encore versé en novembre 2000. Cette dernière somme était l'avoir LPP du lésé, que celui-ci a sorti de sa caisse de prévoyance sur les conseils de X._, lequel a créé, pour l'occasion, une société fictive de nettoyages E._, faisant croire à la caisse de pensions que son assuré devenait indépendant, seule façon pour lui d'obtenir ce montant. A.d Le 13 mai 1998, X._, par l'intermédiaire de sa société Y._, a obtenu de A.F._ 50'000 fr. Selon le mandat de gestion signé à cette occasion, cette somme devait être placée avec un rendement prévisible de 10 %. Le 16 novembre 1999, les époux F._ ont encore investi 50'000 fr. aux mêmes conditions. Contrairement à ce qui a été convenu, il semble que ces fonds ont servi à financer des paris sur des courses de chevaux selon le système "Scubiac". Ils ont été perdus, hormis un montant de 10'000 fr. que les époux F._ ont pu obtenir pour des vacances. A.e Le 25 mars 1999, X._, par l'intermédiaire de sa société Y._, a obtenu 30'000 fr. de G._. Selon le contrat de mandat de gestion spécifique, cette somme devait faire l'objet de placements avec rendement prévisible de 9 %. Il n'était pas précisé dans le contrat qu'il s'agissait de placements "Scubiac", mais d'opérations relatives au marché. Contrairement à ce qui a été convenu, ces fonds ont vraisemblablement servi à financer des paris sur des courses de chevaux. Ils ont été entièrement perdus, à l'exception de 6'750 fr. que la lésée a obtenus en plusieurs versements à titre d'intérêts. A.f Entre le 24 février 2000 et le 12 octobre 2001, X._ a obtenu de H._ plusieurs montants représentant un total de 68'000 fr. contre la promesse d'un rendement d'environ 10 %, celui-ci n'étant pas absolument garanti, mais le capital étant en revanche assuré. Les sommes versées n'ont pas été placées tel que convenu. Le 27 février 2001, 38'000 fr. ont été déposés sur le compte bancaire de la Z._, dont 20'000 fr. ont été retirés le même jour par l'un ou l'autre des directeurs. H._ a pu récupérer 10'000 fr., alors qu'il avait besoin d'argent. En octobre 2001, comme il voulait s'acheter une voiture, H._ s'est vu refuser un remboursement anticipé de son capital. A._ et X._ lui ont fait part, à cette occasion, des difficultés financières de la société Z._, invoquant notamment que leur compte était bloqué. Ils ont convaincu H._ de contracter un crédit de 35'000 fr., dont 16'000 fr. étaient destinés à l'achat de sa voiture et dont le solde devait être versé à la société. Ils lui ont faussement fait croire que celle-ci prendrait en charge les mensualités de remboursement envers la banque. A.g Le 22 juin 2000, I._ a obtenu de J._ 50'000 fr. destinés à être investis dans un programme financier sans risque avec un intérêt annuel de 9 à 10 %. Le 26 juin 2000, I._ a remis cette somme à X._, après avoir prélevé une commission de 1'000 fr. Selon le contrat signé entre ces deux hommes, les 49'000 fr. restant devaient être placés dans des opérations relatives au marché, mais "à caractère spéculatif pour son compte et à risques exclusifs". Le rendement prévisible était de 8 %. Cet argent a disparu et n'a jamais pu être remboursé à la victime, à l'exception de 4'000 fr. A.h Le 28 juin 2000, X._ a obtenu de A.K._ 20'000 fr. en vue d'un placement avec un taux d'intérêt annuel de 9 %. Ce contrat a été passé sur du papier à en-tête Z._ SA, qui spécifie que cette société est chargée d'exécuter des opérations relatives au marché. Cet argent a été injecté dans cette entreprise et la victime a tout perdu. Les 8 février et 26 avril 2001, X._ a obtenu de A.L._ un montant total de 20'000 fr. en vue d'opérations relatives au marché, le rendement prévu étant de 7,5 %. Cette somme a été injectée dans la société déficitaire Z._ SA et la victime a perdu sa mise de fonds. Le 29 juin 2001, X._ a obtenu de B.K._ 13'000 fr. qui devaient être placés avec un taux d'intérêt annuel de 9 %. Il a investi cet argent dans la société déficitaire Z._ SA. Le 29 juin 2001, X._ a obtenu de B.K._ 13'000 fr. qui devaient être placés avec un taux d'intérêt annuel de 9 %. Il a investi cet argent dans la société déficitaire Z._ SA. B. Par arrêt du 25 septembre 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a notamment rejeté le recours de X._. B. Par arrêt du 25 septembre 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a notamment rejeté le recours de X._. C. Ce dernier dépose un recours de droit public pour violation de la présomption d'innocence et arbitraire et un pourvoi en nullité pour violation des art. 41, 63, 138 et 146 CP. Il conclut à l'annulation de l'arrêt cantonal. Il requiert l'assistance judiciaire ainsi que l'effet suspensif. 