Faits: A. Par jugement du 18 janvier 2011, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour abus d'autorité à une peine pécuniaire de 10 jours-amende, à 50 fr. le jour, avec sursis et délai d'épreuve de deux ans. B. Par jugement du 20 juin 2011, la Cour d'appel pénale du canton de Vaud a rejeté l'appel formé par X._ contre ce jugement. En bref, cette autorité a estimé que, le 18 mai 2009, X._, alors agent de police rattaché à la brigade Police-secours de Lausanne, s'était rendu coupable d'abus d'autorité au sens de l'art. 312 CP en poussant, voire en jetant, Y._ de façon très violente au fond de la cellule dans laquelle il devait passer la nuit. C. X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut à son acquittement. Subsidiairement, il requiert l'annulation du jugement et le renvoi de la cause pour nouveau jugement dans le sens des considérants à une autorité de première instance, subsidiairement à l'autorité inférieure. Il sollicite également l'octroi de l'effet suspensif. Aucun échange d'écriture n'a été ordonné. 