Faits: A. Par arrêt du 17 mars 2006, la Cour criminelle du Tribunal cantonal du canton du Jura a condamné X._ à une peine de dix ans de réclusion, sous déduction de quatorze jours de détention préventive, pour viols, contraintes sexuelles, contraintes sexuelles avec cruauté et lésions corporelles graves sur la personne de Y._. Sur le plan civil, elle a condamné X._ à payer à la partie civile une indemnité pour tort moral de 100'000 francs, avec intérêts à 5 % dès le 1er avril 1996. Elle a adjugé l'action civile dans son principe et renvoyé la partie civile devant le juge civil pour la fixation du dommage. B. En résumé, la condamnation de X._ repose sur les faits suivants: B.a Y._, née le 15 novembre 1973, a quitté prématurément le lycée cantonal de Porrentruy, pour des raisons de santé, et a débuté un apprentissage d'employée de commerce auprès de l'administration communale de Courgenay, qu'elle a terminé en été 1995 par l'obtention d'un certificat fédéral de capacité. X._ était le receveur communal à Courgenay et le chef hiérarchique de Y._ pendant son apprentissage. B.b X._ a débuté ses agressions sexuelles sur la jeune fille par des attouchements sur les seins le 28 octobre 1993 (harcèlement sexuel au sens de l'art. 198 CP, infraction prescrite), dans le bureau, pendant les heures de présence, mais en l'absence des autres employés. C'est le 15 novembre 1993, le jour de l'anniversaire des vingt ans de la jeune fille, que X._ l'a violée pour la première fois. Alors que Y._ était venue faire des photocopies au bureau communal pour ses examens, X._ est arrivé inopinément et lui a fait subir, entre 12h et 13h, des actes d'ordre sexuel et l'acte sexuel proprement dit. Glacée d'effroi et de paralysie, la jeune fille, qui avait été abusée dans son enfance par son cousin, a été incapable d'opposer de la résistance à son agresseur. Quand X._ a eu fini de violer sa victime, il lui a dit: "Si tu en parles, je me suicide et je partirai pas tout seul". Le 16 mars, le 9 mai et le 10 mai 1994, X._ a profité de l'absence de son épouse pour emmener la jeune fille à son domicile et lui faire subir l'acte sexuel proprement dit. Comme lors de tous les abus sexuels perpétrés par X._, la jeune fille était totalement soumise à son agresseur, pétrifiée d'effroi et dans l'incapacité complète de parvenir à s'opposer à sa volonté. A chaque fois, X._ exprimait à la jeune fille son intention de se suicider et de la tuer si elle révélait à quiconque ses agissements, ajoutant qu'il possédait une arme à feu, dont il n'hésiterait pas à se servir. B.c Après la fin de son apprentissage (à savoir du 31 juillet 1995 au 6 novembre 1998), Y._ s'est rendue à plusieurs reprises au bureau communal, au minimum deux fois par an, pour régler diverses questions administratives, en rapport notamment avec des problèmes liés à son assurance invalidité. A ces occasions, elle a été l'objet d'actes d'ordre sexuel, à tout le moins. Le 6 novembre 1998, face à un refus d'un rapport sexuel de la part de Y._, X._ a introduit une baguette métallique dans l'anus de celle-ci, ce qui a provoqué une déchirure et des saignements. C. C.a Les Drs A._, B._ et C._ ont été chargés d'effectuer une expertise de crédibilité de Y._. Dans leur rapport du 17 septembre 2002, ils ont posé le diagnostic d'état de stress post-traumatique chronique, trouble dépressif récurrent, épisode actuel moyen avec syndrome somatique; personnalité dépendante, avec traits de personnalité paranoïaque; absence de désir sexuel et dysfonctionnement orgasmique. Selon les experts, l'état mental actuel de l'expertisée constitue un tableau clinique extrêmement complexe de différentes pathologies psychiques, dont certaines sont vraisemblablement dues aux abus sexuels chroniques que l'expertisée a subis dans l'enfance, l'adolescence et l'âge adulte et ce durant de nombreuses années. Si les déclarations de l'expertisée sont fortement crédibles en ce qui concerne les actes sexuels eux-mêmes, la psychopathie dont souffre cette dernière ne lui permet pas de faire une distinction claire entre une contrainte physique réelle et son idée de ce que représente une contrainte, ni d'élaborer les moyens qu'une personne adulte pourrait mettre en place pour être libérée de ces contraintes. De ce fait, les experts ont conclu à une crédibilité moyenne quand la plaignante dit que les actes ont toujours été effectués sous la contrainte. Dans leur rapport complémentaire du 30 mai 2005, les experts ont précisé que si l'expertisée n'a pas fait l'objet de contrainte physique, elle subissait cependant une contrainte psychique forte. L'incapacité de l'expertisée à s'affirmer et à réagir de manière appropriée lui donnait l'impression d'être figée et incapable de quitter les lieux. La présence du trouble de personnalité chez Y._ la rendait vulnérable et susceptible à des abus sexuels. En se référant à la notion de "sidération", les experts ont déclaré que "La présence simultanée d'une personnalité dépendante et la forte pression psychique d'un homme en position d'autorité peuvent induire une forme de paralysie psychologique." C.b Dans son rapport du 20 février 2006, l'experte D._, psychologue, a constaté que les témoignages de Y._ offraient une qualité permettant de retenir l'hypothèse du vécu réel, tant pour l'ensemble des actes sexuels que pour son incapacité à repousser les assauts de son agresseur. Elle a précisé qu'elle n'avait trouvé aucun élément appuyant une motivation de fausses allégations. D. Contre l'arrêt cantonal, X._ dépose un recours de droit public et un pourvoi en nullité devant le Tribunal fédéral. Dans le recours de droit public, il se plaint d'arbitraire dans l'établissement des faits, en relation avec l'existence des actes sexuels et des actes d'ordre sexuel eux-mêmes, la contrainte et l'intention. Dans le pourvoi, il soutient, sur le plan pénal, que les actes sexuels et les actes d'ordre sexuel n'ont pas été commis sous la contrainte, que l'intromission de la baguette dans l'anus de la jeune fille n'a pas causé de lésions corporelles graves selon l'art. 122 CP et que la peine qui lui a été infligée est exagérément sévère; sur le plan civil, il conteste l'adjudication de l'action civile dans son principe ainsi que le montant de l'indemnité pour tort moral, demandant que la partie civile soit déboutée de toutes ses conclusions, à défaut de lien de causalité existant entre les actes sexuels et l'invalidité de la victime. Le procureur général jurassien et la Cour criminelle du Tribunal cantonal jurassien concluent au rejet des recours, dans la mesure de leur recevabilité. Invitée à se déterminer sur le pourvoi, l'intimée conclut à son rejet. En outre, elle sollicite l'assistance judiciaire. Le Président de la Cour de cassation pénale du Tribunal fédéral a refusé d'accorder l'effet suspensif par ordonnance du 23 mai 2006. 