Faits: A. Entre le 1er avril 1993 et le 23 octobre 1995, X._, citoyen italien né en 1954, chauffeur de poids lourds de profession, a importé en Suisse, sans les déclarer à la douane, 614 tonnes de viandes diverses, d'une valeur totale supérieure à neuf millions de francs. Il a par ce biais réalisé un gain supérieur à un million. Le montant des droits de douane éludés représente environ 490'000 francs, celui de la TVA soustraite environ 58'000 francs. La Direction générale des douanes (DGD) a rendu à l'encontre de X._ une décision d'assujettissement à la prestation fixant les redevances d'entrée dues à 475'170 francs. Elle a en outre renvoyé la cause aux autorités pénales du Canton de Neuchâtel. B. Par jugement du 10 décembre 2003, le Tribunal correctionnel du district de Boudry a condamné X._ à douze mois d'emprisonnement sans sursis et à 300'000 francs d'amende, peine complémentaire à cinq condamnations précédentes. Le 27 août 2004, la Cour de cassation pénale du Tribunal cantonal a partiellement admis un recours de X._, annulant le jugement attaqué et renvoyant la cause au juge de première instance pour nouveau jugement dans le sens des considérants. Par nouveau jugement du 3 février 2005, le Tribunal correctionnel du district de Boudry a reconnu X._ coupable de contraventions douanières aggravées (art. 74, art. 75 al. 2 et art. 82 ch. 2 LD; loi fédérale sur les douanes, RS 631.0), d'infractions à la loi fédérale sur les épizooties (art. 47 LFE; RS 916.40) et de soustraction aggravée de l'impôt sur les importations (art. 77 al. 2 OTVA; ordonnance régissant la taxe à la valeur ajoutée, RO 1994 1464). Il l'a condamné à une peine de six mois d'emprisonnement assortie du sursis ainsi qu'à 250'000 francs d'amende, le tout à titre de peine complémentaire à cinq condamnations antérieures. Le 13 juin 2006, la Cour de cassation pénale du Tribunal cantonal a rejeté un nouveau recours de X._. C. X._, agissant seul, a interjeté un pourvoi en nullité auprès du Tribunal fédéral. Le Ministère public du Canton de Neuchâtel, le Ministère public de la Confédération et la Direction des douanes ont été invités à déposer des observations. Les deux premiers y ont renoncé; la dernière a conclu au rejet du recours. 