Faits: Faits: A. En août 2003, X._ a convaincu Y._, dont il avait été le conseiller en assurances, de racheter son assurance-vie et de souscrire un petit crédit, afin de lui confier cet argent qu'il disait vouloir faire fructifier plus généreusement, en l'investissant dans une société dont elle pourrait devenir la secrétaire, voire l'administratrice. A titre de garantie, il lui a remis une lettre de change, qu'il a signée au nom d'une société Z._ SA, dont il avait acquis le capital-actions. De plus, en décembre 2003, après avoir appris le dépôt d'une plainte pénale dirigée contre lui, X._ a averti Y._ qu'il connaissait un sorcier au Mali et qu'elle devait faire attention à ne pas trouver des serpents dans son lit durant la nuit et à ne pas perdre son emploi. De plus, en décembre 2003, après avoir appris le dépôt d'une plainte pénale dirigée contre lui, X._ a averti Y._ qu'il connaissait un sorcier au Mali et qu'elle devait faire attention à ne pas trouver des serpents dans son lit durant la nuit et à ne pas perdre son emploi. B. Par jugement du 9 décembre 2005, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour escroquerie et menaces à la peine ferme de quatre mois d'emprisonnement. Il a révoqué le sursis accordé le 17 juillet 2001 par le Tribunal correctionnel de Lausanne et ordonné l'exécution de deux mois d'emprisonnement, sous déduction de quatorze jours de détention préventive. Il a reconnu X._ débiteur de Y._ d'une somme de 26'973 fr. 80 avec intérêt à 5 % l'an dès le 1er septembre 2003 à titre de dommages-intérêts et de 2'000 francs, valeur échue, à titre d'indemnité pour tort moral. Enfin, il a maintenu le séquestre sur une pièce et mis les frais à la charge de X._. Statuant le 16 février 2006 sur recours de X._, la Cour de cassation pénale du Tribunal cantonal vaudois a confirmé le jugement de première instance. Statuant le 16 février 2006 sur recours de X._, la Cour de cassation pénale du Tribunal cantonal vaudois a confirmé le jugement de première instance. C. Contre l'arrêt cantonal, X._ dépose un recours de droit public et un pourvoi en nullité devant le Tribunal fédéral. Il conclut, dans les deux recours, à l'annulation de l'arrêt attaqué. Dans le recours de droit public, il se plaint d'arbitraire dans l'établissement des faits. Dans le pourvoi, il conteste, pour l'essentiel, les infractions d'escroquerie et de menaces. Le Ministère public vaudois renonce à déposer une réponse, se référant à l'arrêt attaqué. L'intimée conclut au rejet du pourvoi. L'effet suspensif a été accordé à titre superprovisionnel le 17 mai 2006. 