Faits: A. Le 31 août 2007, X._ a fait paraître dans l'hebdomadaire "B._", dont il est le rédacteur en chef, un article, préparé par ses soins et signé de sa plume, intitulé "Comme un parfum des années 1930". Au centre de cet article, sur la moitié de sa largeur et plus des deux tiers de sa hauteur figurait un photomontage. Celui-ci, sur un fond noir, présentait le portrait de Y._ à côté de celui d'Adolf Hitler - ce dernier apparaissant en uniforme brun du parti nazi et brassard portant la croix gammée -, accompagné du sous-titre, dans la police de caractères la plus importante utilisée dans l'article, "Autrichiens: on a déjà donné!". Le texte, quant à lui, évoquait notamment différents comportements prétendument adoptés par le parti Z._ et ses membres, indiquant que "bref, cela sent bon les années 1930". Il affirmait ensuite que le parti Z._ utilisait le même type de méthodes que celles employées durant ces années, méthodes qui avaient permis à Hitler d'être élu démocratiquement. Par jugement du 15 octobre 2009, le Juge des districts de Martigny et Saint-Maurice a condamné X._ pour diffamation à 120 heures de travail d'intérêt général, avec sursis et délai d'épreuve de deux ans. Il a pour le surplus réservé les droits civils de Y._, statué sur les frais et ordonné la publication du dispositif du jugement assorti d'un bref commentaire préliminaire. B. Par jugement du 7 décembre 2010, la Cour pénale I du Tribunal cantonal valaisan a rejeté l'appel de X._ et confirmé la sentence prononcée, le commentaire préliminaire destiné à la publication étant légèrement modifié. C. X._ forme un recours en matière pénale, concluant notamment à son acquittement. Par ordonnance du 22 mars 2011, le Président de la cour de céans a admis la requête d'effet suspensif. Il n'a pas été ordonné d'échange d'écritures. 