Faits: Faits: A. A.X._ et B.X._ se sont mariés le 23 novembre 1995. Deux enfants sont issus de cette union, C.X._ née en 1996 et D.X._ né en 1999. A.X._ a été condamné le 21 mars 2002 pour lésions corporelles simples, mise en danger de la vie d'autrui, injure, menaces, contrainte, violation de domicile et infractions à la LStup à une peine de deux ans d'emprisonnement et au suivi d'un traitement ambulatoire durant l'exécution de celle-ci. Les faits sanctionnés par cette condamnation ont été commis pour l'essentiel à l'encontre de B.X._. Dès le 15 octobre 2002, A.X._ a bénéficié du régime de la semi-liberté. Il s'est en revanche vu refuser la libération conditionnelle le 4 février 2003. Il a finalement obtenu cette dernière, avec un délai d'épreuve de 4 ans, dès le 7 avril 2003, après avoir pris l'engagement écrit de ne pas se rendre au domicile de sa femme, ni de la rencontrer. Comme règles de conduite lui ont été imposées l'interdiction de rencontrer ou de tenter de rencontrer son épouse et l'obligation de poursuivre le traitement thérapeutique entamé en cours de détention. Dans la nuit du 1er juillet 2003, l'agent de police F._, ami de B.X._, a constaté la présence de A.X._ au domicile de celle-ci. Intrigué, il est entré dans l'immeuble et est allé écouter à la porte du logement, ce qui lui a permis d'entendre l'épouse de A.X._ gémir et pleurer entre 30 et 40 minutes. Il est retourné le lendemain au domicile de B.X._, qu'il a trouvée tremblante et en pleurs. Il a pris contact avec la police de sûreté et deux inspecteurs se sont rendus sur les lieux où ils ont rencontré B.X._, toujours tremblante et pratiquement incapable de parler, pouvant tout de même indiquer qu'elle n'en pouvait plus de devoir subir son mari depuis de nombreuses semaines et précisant que celui-ci abusait régulièrement d'elle, en profitant de la peur qu'il lui inspirait. Le même jour une information a été ouverte contre A.X._. Son épouse a formellement déposé plainte le 4 juillet 2003 pour injures, menaces, contrainte et viol. A.X._ a été renvoyé devant l'autorité de jugement sous les préventions de viols, subsidiairement abus de la détresse et plus subsidiairement encore actes d'ordre sexuel sur une personne incapable de discernement ou de résistance, actes commis à La Chaux-de-Fonds et Neuchâtel le 3 novembre 2002, en mars 2003, le 26 avril 2003, entre fin avril et juin 2003 et le 1er juillet 2003 ainsi que de délits manqués de contrainte ou tentatives de contrainte commis à Genève, La Chaux-de-Fonds et Neuchâtel le 27 octobre 2002 puis entre le 3 novembre 2002 et le 1er juillet 2003 et, enfin, de violations de domicile perpétrées à La Chaux-de-Fonds les 26 avril et 1er juillet 2003. Dans la nuit du 1er juillet 2003, l'agent de police F._, ami de B.X._, a constaté la présence de A.X._ au domicile de celle-ci. Intrigué, il est entré dans l'immeuble et est allé écouter à la porte du logement, ce qui lui a permis d'entendre l'épouse de A.X._ gémir et pleurer entre 30 et 40 minutes. Il est retourné le lendemain au domicile de B.X._, qu'il a trouvée tremblante et en pleurs. Il a pris contact avec la police de sûreté et deux inspecteurs se sont rendus sur les lieux où ils ont rencontré B.X._, toujours tremblante et pratiquement incapable de parler, pouvant tout de même indiquer qu'elle n'en pouvait plus de devoir subir son mari depuis de nombreuses semaines et précisant que celui-ci abusait régulièrement d'elle, en profitant de la peur qu'il lui inspirait. Le même jour une information a été ouverte contre A.X._. Son épouse a formellement déposé plainte le 4 juillet 2003 pour injures, menaces, contrainte et viol. A.X._ a été renvoyé devant l'autorité de jugement sous les préventions de viols, subsidiairement abus de la détresse et plus subsidiairement encore actes d'ordre sexuel sur une personne incapable de discernement ou de résistance, actes commis à La Chaux-de-Fonds et Neuchâtel le 3 novembre 2002, en mars 2003, le 26 avril 2003, entre fin avril et juin 2003 et le 1er juillet 2003 ainsi que de délits manqués de contrainte ou tentatives de contrainte commis à Genève, La Chaux-de-Fonds et Neuchâtel le 27 octobre 2002 puis entre le 3 novembre 2002 et le 1er juillet 2003 et, enfin, de violations de domicile perpétrées à La Chaux-de-Fonds les 26 avril et 1er juillet 2003. B. Par jugement du 24 août 2004, le Tribunal correctionnel du district de La Chaux-de-Fonds a retenu que B.X._ était terrorisée en raison des menaces répétées dont elle avait été l'objet de la part de son mari et que c'était contre son gré, parce qu'elle n'avait pas le choix, qu'elle avait entretenu des relations sexuelles avec celui-ci. Il a condamné A.X._ pour viols à quatre ans de réclusion et à l'expulsion du territoire suisse pendant 10 ans. Les autres préventions ont été abandonnées en raison de doutes devant profiter à A.X._. B. Par jugement du 24 août 2004, le Tribunal correctionnel du district de La Chaux-de-Fonds a retenu que B.X._ était terrorisée en raison des menaces répétées dont elle avait été l'objet de la part de son mari et que c'était contre son gré, parce qu'elle n'avait pas le choix, qu'elle avait entretenu des relations sexuelles avec celui-ci. Il a condamné A.X._ pour viols à quatre ans de réclusion et à l'expulsion du territoire suisse pendant 10 ans. Les autres préventions ont été abandonnées en raison de doutes devant profiter à A.X._. C. Par arrêt du 5 avril 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours de A.X._. Après examen des divers éléments de preuve dont elle disposait, la Cour cantonale a considéré que la version des faits de la victime était plus crédible que celle du recourant et que la condamnation de celui-ci pour viol ne prêtait pas le flanc à la critique. C. Par arrêt du 5 avril 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours de A.X._. Après examen des divers éléments de preuve dont elle disposait, la Cour cantonale a considéré que la version des faits de la victime était plus crédible que celle du recourant et que la condamnation de celui-ci pour viol ne prêtait pas le flanc à la critique. D. A.X._ forme un recours de droit public et un pourvoi en nullité contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation. Il demande également à être mis au bénéfice de l'assistance judiciaire pour les deux procédures. Il sollicite en outre, dans les deux recours, l'effet suspensif et sa mise en liberté, requêtes qui ont été rejetées par ordonnance du Président de la Cour de cassation pénale du Tribunal fédéral du 14 juin 2006. D. A.X._ forme un recours de droit public et un pourvoi en nullité contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation. Il demande également à être mis au bénéfice de l'assistance judiciaire pour les deux procédures. Il sollicite en outre, dans les deux recours, l'effet suspensif et sa mise en liberté, requêtes qui ont été rejetées par ordonnance du Président de la Cour de cassation pénale du Tribunal fédéral du 14 juin 2006. E. Se référant à son arrêt, la cour cantonale a déclaré n'avoir pas d'observations à formuler. Le Ministère public a également renoncé à formuler des observations, mais a conclu au rejet des recours. 