Faits: A. A.a A.X._, associé avec son père B.X._ de la société en nom collectif C.X._, de siège social à Y._, a fait l'objet d'une procédure d'assujettissement à la prestation en raison de violations de l'ancienne loi fédérale du 1er octobre 1925 sur les douanes (LD [RO 42 p. 307], ultérieurement modifiée à plusieurs reprises et actuellement remplacée par la loi fédérale du 18 mars 2005 sur les douanes [RS 631.0]), en l'occurrence des importations irrégulières de tomates en Suisse du 30 juin au 21 août 1995. Par décision d'assujettissement à la prestation du 30 août 1996, la Direction du IIIe arrondissement des douanes a, en application notamment de l'ancienne LD et de l'ancienne ordonnance du 22 juin 1994 régissant la taxe sur la valeur ajoutée (OTVA [RO 1994 II p. 1464], ultérieurement modifiée à plusieurs reprises et actuellement remplacée par la loi fédérale du 12 juin 2009 régissant la taxe sur la valeur ajoutée [RS 641.20]), assujetti A.X._, B.X._ et la société en nom collectif C.X._, solidairement entre eux, au paiement d'un montant total de xxxx fr. au titre de redevances d'entrée non perçues (droits de douane, droits de statistique, taxe phytosanitaire, taxe sur la valeur ajoutée). Par décision du 19 août 1997, la Direction générale des douanes a partiellement admis le recours déposé par les assujettis, en ce sens que les droits d'entrée éludés ont été ramenés à xxxx francs. Statuant sur recours le 29 janvier 1999, la Commission fédérale de recours en matière de douanes a confirmé la décision attaquée et mis les frais de procédure par xxxx fr. à la charge des assujettis. Le 14 juin 1999, le Tribunal fédéral a rejeté le recours de droit administratif formé par ceux-ci (arrêt 2A.95/1999). En substance, il a jugé que le fait d'importer des marchandises passibles de droits (art. 7 et 8 de l'ancienne ordonnance du 17 mai 1995 sur l'importation de légumes, de fruits frais et de fleurs coupées [RO 1995 p. 2017], ultérieurement modifiée et actuellement remplacée par l'ordonnance du 7 décembre 1998 sur l'importation et l'exportation de légumes, de fruits et de plantes horticoles [RS 916.121.10]) sans les annoncer (art. 74 ch. 3 aLD), respectivement les déclarer inexactement (art. 74 ch. 6 aLD), constituait objectivement des infractions à la législation douanière, si bien que les redevances qui n'avaient pas pu être perçues au moment desdites importations illégales pouvaient être réclamées après coup, en vertu de l'art. 12 al. 1 de la loi fédérale du 22 mars 1974 sur le droit pénal administratif (DPA; RS 313.0). Par ailleurs, la Commission fédérale de recours avait, à bon droit, admis que A.X._ et les autres débiteurs étaient, en vertu de l'art. 13 al. 1 2ème phr. aLD, solidairement responsables du paiement de la totalité des redevances d'entrée éludées. A.b Par mandat de répression du 3 avril 2000, la Direction du 3ème arrondissement des douanes/Office d'enquête de Sion a, pour ces mêmes faits, condamné pénalement A.X._ au paiement d'une amende de xxxx fr. et d'un émolument de décision de xxxx francs. Statuant sur opposition, la Direction générale des douanes a, par décision du 19 avril 2002, condamné le prévenu au paiement d'une amende de xxxx fr., pour contraventions à l'ancienne LD et à l'ancienne OTVA, et des frais de procédure administrative de xxxx fr., en application de l'art. 95 DPA. Le 30 avril 2002, A.X._ a demandé à être jugé par un tribunal, en application de l'art. 72 al. 1 DPA. La cause a alors été transmise aux autorités pénales du canton du Valais. Par jugement du 29 octobre 2003, le Juge II du district de Monthey a condamné A.X._ à une amende de xxxx francs. Par jugement du 22 novembre 2004, le Tribunal cantonal valaisan a condamné A.X._ au paiement d'une amende de xxxx fr. et des frais de la procédure administrative, à hauteur de xxxx fr., jugement que le Tribunal fédéral a confirmé le 9 mars 2005 (arrêt 6P.184/2004). B. B.a Le 8 août 2005, l'Administration fédérale des douanes (ci-après: AFD) et A.X._ ont conclu un accord de paiement par acomptes de l'amende de xxxx fr. Celle-ci a été entièrement payée, selon les déclarations de l'AFD, le 12 juin 2008 au plus tard. B.b Par courrier du 12 juin 2008, l'AFD a requis de A.X._ d'"établir un nouveau plan de paiement dans lequel il sera tenu compte du délai de prescription des redevances qui est le 15 juillet 2012". Par courrier recommandé du 5 janvier 2009, l'AFD a constaté que A.X._ n'avait pas donné suite à son courrier du 12 juin 2008. Elle a dressé un décompte, dont il ressort qu'elle réclamait le paiement des frais de la procédure pénale administrative, par xxxx fr., et des redevances d'entrée éludées, par xxxx fr., dont elle a déduit le montant de xxxx fr., versé par la société C.X._, le solde étant donc de xxxx francs. Elle a précisé que cette somme était à verser sur son compte postal dans le délai de 30 jours dès réception de courrier et qu'en cas de non-paiement dans le délai imparti, elle procéderait au recouvrement de sa créance par la voie de la poursuite pour dettes. Le 14 août 2009, l'AFD a réitéré sa proposition d'établir un plan de paiement des redevances, tout en précisant dans son décompte que, au vu du montant de xxxx fr. versé par les "co-assujettis", le solde de la créance était de xxxx francs. Elle a précisé que, sans nouvelles de A.X._ dans le délai de 15 jours, elle procéderait au recouvrement de la créance par la voie de la poursuite pour dettes. Par courrier du 3 septembre 2009, elle a encore affirmé que la décision de perception subséquente du 19 août 1997 n'était pas prescrite. Faisant suite à ces courriers le 9 décembre 2009, A.X._ a précisé que sa présente réponse ne valait ni acte interruptif de prescription, ni reconnaissance de dette, puisqu'il se réservait le droit d'étudier la question de la prescription. Par courrier du 9 mars 2010, il a interpellé une nouvelle fois l'administration sur la question de savoir si la créance était prescrite et a sollicité son avis sur ce sujet. Par courrier du 8 avril 2010, l'AFD a répondu en substance que la créance issue de la décision d'assujettissement du 30 août 1996 n'était pas prescrite, en vertu de l'art. 12 al. 4 DPA applicable à la cause, la prescription de la peine étant de 7 1⁄2 ans, compte tenu des actes interruptifs auxquels elle avait procédé, et qu'elle lui accordait un délai de 30 jours pour verser le montant de xxxx francs. C. C.a Le 11 mars 2011, la Confédération suisse, représentée par l'AFD, a fait notifier à A.X._ un commandement de payer le montant de xxxx fr. dans la poursuite n° xxxx de l'office des poursuites du district de Martigny, auquel le poursuivi a fait opposition totale. Comme titre de la créance, la poursuivante a indiqué "Amende selon jugement du Tribunal cantonal du 22.11.2004 Fr. xxxx.-. Frais de procédure Fr. xxxx. Décision de perception subséquente du 19.08.1997 (co-assujetti) Fr. xxxx. Paiement partiels effectués: 1. par C.X._ SA (co-assujetti) Fr. xxxx. 2. par B.X._ (co-assujetti) Fr. xxxx. 3. par A.X._ Fr. xxxx". C.b Par décision du 9 mai 2011, le juge des districts de Martigny et St-Maurice a prononcé la mainlevée définitive de l'opposition à concurrence de xxxx francs. D. D.a Admettant la requête en restitution de délai déposée par A.X._, le juge des districts de Martigny et St-Maurice a annulé la décision précédente et a rendu, le 2 novembre 2011, une nouvelle décision par laquelle il a prononcé la mainlevée définitive de l'opposition à hauteur de xxxx francs. D.b Le 1er décembre 2011, A.X._ a recouru contre cette décision auprès du Tribunal cantonal valaisan, Juge de la Chambre civile, concluant en substance à ce que celle-ci soit annulée et qu'il soit constaté que la créance, objet de la poursuite n° xxxx, est prescrite, voire périmée. Par décision du 10 janvier 2012, l'autorité cantonale a rejeté le recours. E. Par acte posté le 13 février 2012, A.X._ exerce un recours en matière civile au Tribunal fédéral contre cette décision. Il conclut principalement à ce qu'il soit reconnu que la prétention de l'AFD, réclamant paiement de xxxx fr., est prescrite et qu'il soit libéré de toute prétention de la part de cette dernière. Subsidiairement, il conclut à ce que, en application du principe de célérité (art. 6 CEDH), de celui d''atténuation de la peine (art. 64 aCP) et de celui de proportionnalité, il soit libéré de toute prétention de la part de l'AFD. A titre plus subsidiaire, il conclut à ce que, en application de mêmes principes, il soit condamné au versement de xxxx fr. de redevances douanières et libéré au surplus. Invitées à déposer leurs observations, l'intimée a conclu au rejet du recours alors que l'autorité cantonale a renoncé à se prononcer sur ce dernier. F. Par ordonnance du 7 mars 2012, la requête d'effet suspensif déposée par le recourant a été rejetée. 