Faits: Faits: A. A partir de 1989, A.Z._ a confié à X._, avocat et notaire, divers mandats dont le dernier a pris fin en mai 2000. Il s'est séparé de son épouse, B.Z._, au mois de mars 1999 et la procédure de divorce s'est achevée le 26 août 2002 par la ratification d'une convention. A la fin du mois d'octobre 1999, il a appris que son épouse avait des relations intimes avec son mandataire depuis 1997. Par l'intermédiaire de diverses personnes, il a notamment pris connaissance d'une dénonciation de X._ auprès de l'autorité de surveillance des avocats, d'un blâme prononcé à son encontre et du fait que ce dernier dépensait beaucoup d'énergie et de temps à régler les problèmes qu'il avait lui-même créés. A.Z._ a constaté que, depuis la fin septembre 1999, son épouse communiquait par télécopie avec l'étude de X._. Il l'a dès lors soupçonnée de prendre des conseils juridiques auprès de son amant pour la procédure matrimoniale. B.Z._ a admis que, lorsque son ménage s'est dégradé, elle a trouvé en X._ un confident. Elle l'a rencontré à titre privé et professionnel, bien qu'il n'agissait pas officiellement comme son avocat. De janvier à juillet 2000, A.Z._ a adressé à son épouse divers messages comportant de nombreuses critiques à l'adresse de X._. Il lui a notamment affirmé que son amant était sujet à une avalanche de plaintes pour malversations et abus de toute sorte et avait battu son ex-femme. De janvier à juillet 2000, A.Z._ a adressé à son épouse divers messages comportant de nombreuses critiques à l'adresse de X._. Il lui a notamment affirmé que son amant était sujet à une avalanche de plaintes pour malversations et abus de toute sorte et avait battu son ex-femme. B. Le 25 janvier 2001, en se fondant sur ces messages, B.Z._, représentée par Me Y._, a déposé une requête de mesures provisionnelles tendant notamment à interdire à A.Z._ de répéter à quiconque les propos tenus dans ses écrits au sujet de X._. Le juge de district a rejeté cette requête par décision du 7 mars 2001 contre laquelle B.Z._ a interjeté recours auprès du Tribunal cantonal valaisan. Le 28 mars 2001, cette dernière, par l'intermédiaire de son mandataire, a dénoncé A.Z._ pour contrainte en invoquant les messages susmentionnés. Le 28 mars 2001, cette dernière, par l'intermédiaire de son mandataire, a dénoncé A.Z._ pour contrainte en invoquant les messages susmentionnés. C. Le 1er mai 2001, X._ a porté plainte pour atteinte à l'honneur, menace et actes de concurrence déloyale contre A.Z._ et l'a dénoncé pour contrainte. Le 3 novembre 2003, le juge des districts de Martigny et St-Maurice a condamné A.Z._ pour diffamation à 2'000 fr. d'amende et renvoyé les prétentions civiles du plaignant au for civil. Le 3 novembre 2003, le juge des districts de Martigny et St-Maurice a condamné A.Z._ pour diffamation à 2'000 fr. d'amende et renvoyé les prétentions civiles du plaignant au for civil. D. Par jugement du 20 janvier 2004, la Cour pénale II du Tribunal cantonal valaisan a libéré A.Z._ de la poursuite pénale et condamné X._ au paiement des frais par 3'814 fr. 50 et des dépens par 4'400 fr. Elle a jugé que la plainte du 1er mai 2001 avait été déposée tardivement, puisque le plaignant avait eu connaissance des messages litigieux et de leur auteur avant le 31 janvier 2001. Elle a estimé que les déclarations de X._ et de sa maîtresse relatives à la date de la connaissance de l'infraction n'étaient pas convaincantes. Elle a relevé que les messages litigieux avaient été rédigés de janvier à juin 2000, qu'à cette époque, les amants étaient intensément liés, qu'ils partageaient leurs loisirs et passaient leurs vacances en commun avec leurs enfants respectifs et que le plaignant était progressivement devenu le confident de B.Z._, puis son amant et son conseiller juridique dans les diverses procédures qui l'ont opposée à son époux depuis octobre 1999, allant jusqu'à rédiger des écritures qu'elle signait ensuite de son propre nom. Il était par ailleurs invraisemblable, alors que son amant la conseillait activement dans ses démarches juridiques, que B.Z._ ait mené, à son insu, la procédure de mesures provisionnelles tendant - dans l'intérêt de X._ - à faire interdire la divulgation des propos contenus dans les messages, ainsi que la poursuite pénale pour contrainte. D. Par jugement du 20 janvier 2004, la Cour pénale II du Tribunal cantonal valaisan a libéré A.Z._ de la poursuite pénale et condamné X._ au paiement des frais par 3'814 fr. 50 et des dépens par 4'400 fr. Elle a jugé que la plainte du 1er mai 2001 avait été déposée tardivement, puisque le plaignant avait eu connaissance des messages litigieux et de leur auteur avant le 31 janvier 2001. Elle a estimé que les déclarations de X._ et de sa maîtresse relatives à la date de la connaissance de l'infraction n'étaient pas convaincantes. Elle a relevé que les messages litigieux avaient été rédigés de janvier à juin 2000, qu'à cette époque, les amants étaient intensément liés, qu'ils partageaient leurs loisirs et passaient leurs vacances en commun avec leurs enfants respectifs et que le plaignant était progressivement devenu le confident de B.Z._, puis son amant et son conseiller juridique dans les diverses procédures qui l'ont opposée à son époux depuis octobre 1999, allant jusqu'à rédiger des écritures qu'elle signait ensuite de son propre nom. Il était par ailleurs invraisemblable, alors que son amant la conseillait activement dans ses démarches juridiques, que B.Z._ ait mené, à son insu, la procédure de mesures provisionnelles tendant - dans l'intérêt de X._ - à faire interdire la divulgation des propos contenus dans les messages, ainsi que la poursuite pénale pour contrainte. E. X._ dépose auprès du Tribunal fédéral un recours de droit public et un pourvoi en nullité et conclut à l'annulation du jugement attaqué. Dans le premier mémoire, il invoque l'arbitraire, une violation de la présomption d'innocence et des art. 139, 140, 207 ch. 1 CPP/VS et 29 al. 2 Cst. Dans le second mémoire, il se plaint d'une violation des art. 29 CP et 249 PPF et du principe "in dubio pro reo". 