Faits: A. Par jugement du 21 juin 2010, le Tribunal correctionnel de l'arrondissement de la Côte a notamment déclaré X._ coupable d'abus de confiance, escroquerie, fraude dans la saisie, faux dans les certificats et infraction à la loi fédérale du 15 décembre 2000 sur les médicaments et les dispositifs médicaux (loi sur les produits thérapeutiques - LPTh; RS 812.21). Il l'a condamné à vingt-neuf mois et vingt-cinq jours de peine privative de liberté, sous déduction de seize jours de détention avant jugement, ainsi qu'à une amende de 10'000 francs, la peine privative de liberté de substitution en cas de non-paiement fautif de l'amende étant de cent jours. Cette peine est partiellement complémentaire à celles prononcées les 18 novembre 1998 par le Tribunal de division 1 de Lausanne, 11 mai 2001 par le Juge d'instruction de Lausanne et 16 juillet 2004 par la Cour de cassation pénale cantonale vaudoise. Le Tribunal correctionnel a accordé à l'accusé un sursis partiel de cinq ans sur une partie de la peine privative de liberté, soit sur quinze mois et vingt-cinq jours, le solde, quatorze mois étant ferme. Enfin, il a révoqué le sursis octroyé le 16 juillet 2004 par la Cour de cassation pénale vaudoise et ordonné l'exécution de cinq mois d'emprisonnement. Les faits à la base de cette condamnation sont en résumé les suivants. A.a X._, pharmacien né en 1962, a créé en 1991 A._ SA, active dans le domaine pharmaceutique, dont il était président du conseil d'administration avec signature individuelle et actionnaire majoritaire. Cette société a été déclarée en faillite en avril 2002. En janvier 2000, à la suite de problèmes financiers, A._ SA avait été scindée en deux parties, soit B._ SA et C._ SA. B._ SA avait pour but toute activité en matière de recherche, enregistrement, commercialisation, diagnostic et traitement dans le domaine de l'immunologie. X._ était administrateur unique de cette société, qui a été fermée sur décision de Swissmedic, Institut suisse des produits thérapeutiques, en septembre 2004 et mise en faillite en novembre 2004. C._ SA avait pour but le commerce de tous biens, produits et services et toutes activités de services, de conseils et de développement dans les matières les plus variées, en particulier dans le domaine médico-pharmaceutique. X._ a été exclu du conseil d'administration en mars 2011. A.b Le 1er janvier 1997, A._ SA, représentée par X._, et Z._ AG ont signé un contrat par lequel A._ SA s'engageait, moyennant une rémunération, à couvrir, sur une base mensuelle, les factures adressées par Z._ AG aux hôpitaux et aux grossistes. Ce contrat a été complété par un avenant du 1er janvier 1999. Il en découle que A._ SA acquérait mensuellement les factures émises par Z._ AG, adressées aux grossistes et aux hôpitaux, et devait en payer les montants dans un certain délai, au besoin en puisant sur sa ligne de crédit. Quant à Z._ AG, elle cédait à A._ SA tous ses droits sur ses créances et invitait l'ensemble de sa clientèle à effectuer les paiements directement sur le compte bancaire de A._ SA, ouvert à cette fin auprès du Crédit Lyonnais de Prague. Les relations contractuelles entre A._ SA et Z._ AG ont cessé le 31 décembre 1999. Toutefois, l'activité de recouvrement de créances a été reprise par C._ SA dès le 1er mars 2000 (jugement du Tribunal correctionnel du 21 juin 2010, p. 39). En novembre 1999, à la suite d'un séquestre d'ampoules de D._ par la justice vaudoise, le Crédit Lyonnais a coupé les lignes de crédit, tout en saisissant tous les versements effectués sur le compte de A._ SA en provenance des clients. A._ SA continuait de recevoir les cessions de créances de Z._ AG, d'envoyer les factures et d'encaisser l'argent. L'argent était aussitôt prélevé par la banque qui se remboursait le découvert de A._ SA provenant des charges d'exploitation de l'entreprise, notamment d'importants frais de voyage et de représentation de X._, qui assurait son train de vie élevé par le biais de sa société, ou encore le remboursement de prêts octroyés à A._ SA par d'autres investisseurs. A._ SA n'a ainsi plus versé l'argent dû à Z._ AG. Pour ces faits, le recourant a été reconnu coupable d'abus de confiance. A.c Le 3 novembre 2000, X._ a signé une reconnaissance de dette de 109'320'418,13 couronnes tchèques (KC), soit 4'852'431 francs suisses dont il ressort que la dette "dérive du contrat du 1er janvier 1997 et de son avenant du 1er janvier 1999" et qu'elle "est basée sur des paiements qui auraient dû être transmis à Z._ AG et qui ne l'ont pas été" (jugement du Tribunal correctionnel du 21 juin 2010, p. 41). A._ SA s'est vu notifier un commandement de payer portant sur ce montant et a fait opposition. Le 30 août 2001, A._ SA, représentée par X._, et Z._ AG ont conclu un contrat par lequel A._ SA s'est engagée à ouvrir un compte bancaire spécial devant être alimenté par les ventes d'ampoules de D._ et à payer chaque mois à Z._ AG le 75% des fonds qui seraient versés sur le compte spécial, mais au minimum 100'000 francs jusqu'au 15 octobre 2001, 300'000 francs jusqu'au 15 novembre 2001 et 600'000 francs jusqu'au 31 décembre 2001. En contrepartie, Z._ AG s'est engagée à ne pas requérir la faillite de A._ SA avant le 1er janvier 2002. X._ a dissimulé que la commercialisation d'ampoules de D._ n'était pas autorisée par l'Office intercantonal des médicaments (OICM, devenu Swissmedic), que la majorité des ampoules avait été séquestrée par le juge d'instruction, que la vente d'ampoules de D._, selon le procès-verbal de l'assemblée générale de A._ SA du 7 janvier 2000, n'était plus du ressort de cette société, mais de B._ SA, qu'au surplus, la date de péremption de ce produit arrivait à échéance en 2002 et qu'il ne pourrait plus être vendu, et qu'à fin 2001, le stock serait inscrit au bilan définitif 2001 de A._ SA pour un franc symbolique. Pour ces faits, le recourant a été condamné pour escroquerie. A.d De 1998 au 4 mars 2004 à tout le moins, X._, par sa société B._ SA, a vendu des ampoules de D._ comme médicaments sans autorisation. Pour la période allant de 1998 au 30 octobre 2002, il a déjà été condamné en 2004. Pour la période subséquente, il a été déclaré coupable d'infraction au sens de l'art. 87 al. 1 let. f et al. 2 LPTh. S'agissant de la vente non autorisée, dans la période du 21 juin 2003 (les faits antérieurs étant prescrits) jusqu'en octobre 2004, de plusieurs dizaines d'autres produits considérés comme des médicaments, de produits de la gamme "E._" importés d'Afrique du Sud et de la prescription de tests sanguins, il a été déclaré coupable d'infractions par métier au sens de l'art. 87 al. 1 let. f et al. 2 LPTh. Tous ces produits ont été qualifiés de médicaments dans la mesure où leur emballage comportait des indications thérapeutiques. Les produits en question n'étaient pas autorisés à la vente, faute d'homologation par l'Institut suisse des produits thérapeutiques. X._, non titulaire d'une autorisation fédérale ou cantonale pour faire le commerce de médicaments, a vendu ces produits en Suisse et à l'étranger à des particuliers, pharmaciens et médecins. B. Le 22 novembre 2010, statuant sur recours, la Cour de cassation pénale vaudoise a partiellement réformé le jugement de première instance en libérant notamment X._ du chef d'accusation de faux dans les certificats, en le condamnant, s'agissant de la vente d'ampoules de D._, pour infraction au sens de l'art. 86 al. 1 let. b et al. 2 LPTh (et non pas 87 al. 1 let. f et al. 2 LPTh) et en réduisant la peine privative de liberté prononcée à 29 mois. Elle a confirmé le jugement pour le surplus. C. X._ forme un recours en matière pénale contre cet arrêt, concluant à sa réforme en ce sens qu'il soit libéré des chefs d'accusation d'escroquerie, d'abus de confiance, de contravention et, pro parte, de délit à la loi fédérale sur les produits thérapeutiques et condamné pour les autres infractions à une peine partiellement complémentaire et à une peine résiduelle, intégralement compatible avec le sursis, sans révocation de sursis. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. Il demande à bénéficier de l'assistance judiciaire. Il invoque la violation des articles 9, 29 al. 2 et 32 al. 2 Cst., 6 par. 1 à 3 CEDH, 14 par. 1 et 2 Pacte ONU relatif aux droits civils et politiques (présomption d'innocence, interdiction de l'arbitraire dans l'appréciation des preuves et droit d'être entendu) et des articles 138 ch. 1 et 146 CP ainsi que 4, 8, 86 et 87 LPTh. Il n'a pas été ordonné d'échange d'écritures. 