Faits: Faits: A. Par jugement du 18 novembre 2005, le Tribunal de police de l'arrondissement de Lausanne a levé, en faveur de C._, le séquestre sur la somme de 99'910 US $, convertie en 137'326 fr. 30 et, en faveur de B._, le séquestre sur la somme de 91'400 US $, convertie en 124'349 fr. 70. Ces sommes avaient été saisies auprès de la Banque X._ à Z._. Il a également levé le séquestre sur la police d'assurance-vie n° xxx auprès de la F._ au nom de D._. Cette décision repose, en bref, sur les faits suivants: A.a Entre 1993 et 2002, A._ aurait investi environ 1'200'000 US $ dans le but d'obtenir un transfert de quelque 30'000'000 US $, dont 7'000'000 US $ à titre de commission. Ses contacts se trouvaient au Nigéria. Malgré des versements réguliers à titre d'avance de frais, il n'a jamais reçu de retour sur ses "investissements" et a ainsi été victime d'une escroquerie dite de la "Nigerian Connection". A._ a notamment versé sur le compte de G._ auprès de la Banque H._, à Londres, 2'500 US $ le 12 février 1996 et 4'230 US $ le 9 avril 1996. A.b B._ et C._, d'origine indienne et établis au Nigéria, oeuvrent depuis de nombreuses années dans le commerce international. La législation nigériane ne permettant que difficilement de sortir des devises du pays, les commerçants ont recours à un système de transfert de fonds par compensation. Ce système fonctionne au travers d'intermédiaires répartis dans le monde entier et qui se connaissent entre eux. Les transactions se font sans documents écrits et ne laissent donc aucune trace matérielle. Ce procédé largement répandu permet de financer des opérations de commerce tout à fait licites dans des pays au système bancaire peu sûr ou connaissant un contrôle des devises très strict. Ces deux commerçants sont titulaires de comptes bancaires auprès de la banque X._ SA, à Y._. Dans le cadre de l'enquête instruite à la suite des escroqueries dont A._ a été l'une des victimes, il est apparu que des fonds avaient été transférés du compte de G._ auprès de la Banque H._ sur les comptes de B._ et C._ auprès de la banque X._. En particulier, le compte de G._ a été débité, d'une part, d'un montant total de 91'400 US $ en faveur du compte de B._, entre le 5 décembre 1995 et le 26 janvier 1996, et, d'autre part, d'un montant total de 99'910 US $ en faveur de C._, entre le 7 août et le 19 octobre 1995. Ces sommes ont été séquestrées. Dans le cadre de transferts de fonds effectués hors du Nigéria par opérations de compensation, B._ et C._ ont tous deux été en contact avec l'agent de change K._, lequel apparaissait dans les documents d'ouverture des comptes G._. En revanche, aucun des deux commerçants n'a eu de relation d'affaires avec celle-ci. Leur activité professionnelle paraissait tout à fait licite et les montants reçus par ceux-ci sur leurs comptes en Suisse correspondaient, grosso modo, aux sommes confiées à l'agent de change aux fins du transfert de fonds à l'étranger, la différence pouvant s'expliquer par la perception de frais et autres taxes liées au change. A.c Le compte de G._ auprès de la Banque H._ a également été débité pour payer certaines primes de police d'assurance-vie en faveur de D._ auprès de F._. Au total, une somme de 2'004,50 GB £ a été virée sur cette police, qui a également été séquestrée. A.d Au terme d'une instruction de plus de six ans, le Juge d'instruction de l'arrondissement de Lausanne a prononcé un non-lieu, les auteurs des escroqueries commises au préjudice notamment de A._ n'ayant pu être identifiés. Par arrêt du 15 mars 2005, le Tribunal d'accusation vaudois a confirmé ce non-lieu et transmis le dossier au Tribunal de police de l'arrondissement de Lausanne pour qu'il statue sur le sort des séquestres. Par jugement du 18 novembre 2005, ce tribunal a levé les séquestres. A.d Au terme d'une instruction de plus de six ans, le Juge d'instruction de l'arrondissement de Lausanne a prononcé un non-lieu, les auteurs des escroqueries commises au préjudice notamment de A._ n'ayant pu être identifiés. Par arrêt du 15 mars 2005, le Tribunal d'accusation vaudois a confirmé ce non-lieu et transmis le dossier au Tribunal de police de l'arrondissement de Lausanne pour qu'il statue sur le sort des séquestres. Par jugement du 18 novembre 2005, ce tribunal a levé les séquestres. B. Par arrêt du 16 février 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de A._. En bref, elle a retenu que les montants séquestrés ne pouvaient être confisqués. L'ampleur des transactions effectuées sur le compte de G._ rendait effectivement impossible l'établissement du trajet exact des montants versés par le recourant. De plus, les dates des versements du lésé étaient éloignées de plusieurs semaines, voire de plusieurs mois, des virements effectués en faveur de B._ et C._. B. Par arrêt du 16 février 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de A._. En bref, elle a retenu que les montants séquestrés ne pouvaient être confisqués. L'ampleur des transactions effectuées sur le compte de G._ rendait effectivement impossible l'établissement du trajet exact des montants versés par le recourant. De plus, les dates des versements du lésé étaient éloignées de plusieurs semaines, voire de plusieurs mois, des virements effectués en faveur de B._ et C._. C. A._ dépose un recours de droit public pour arbitraire et un pourvoi en nullité pour violation de l'art. 59 CP. Il conclut à l'annulation de l'arrêt cantonal. Il requiert l'assistance judiciaire et l'effet suspensif, qui lui a été accordé par ordonnance présidentielle du 15 mai 2006. 