Faits: A. Le 8 février 2010 à 02h15, Y._ a été interpellé à Lausanne en vue d'un contrôle d'identité par X._, brigadier au sein de la Police municipale de Lausanne, et deux autres policiers. L'intéressé, qui s'était enfui à leur vue, a finalement été identifié, arrêté, menotté, puis emmené à l'Hôtel de police. Au terme des contrôles d'usage, X._ lui a demandé pour quelle raison il ne s'était pas arrêté malgré leur sommation. L'intéressé a répondu en anglais et avec le sourire qu'il aimait la course à pied. Le brigadier lui a alors demandé en anglais s'il souhaitait être emmené dans un endroit où il pouvait pratiquer ce sport, ce à quoi Y._ a répondu par l'affirmative toujours en souriant. Les agents de police l'ont alors conduit à la Place des fêtes de Sauvabelin. Chemin faisant, X._ a expliqué à ses collègues que Y._ était sportif, qu'il aimait courir et désirait par conséquent être conduit dans un endroit où il pouvait s'adonner à la course à pied. Une fois sur place, Y._ est descendu de la voiture et le brigadier lui a indiqué la direction de la piste finlandaise de Sauvabelin ainsi que celle du centre ville. Les deux collègues de X._ sont restés à bord du véhicule de service durant toute la durée de l'échange. Environ trente minutes plus tard, à la suite d'un appel téléphonique de Y._, égaré, l'un des opérateurs de la centrale de la police a demandé quels étaient les collègues qui avaient laissé un individu dans les bois de Sauvabelin. X._ s'est annoncé spontanément. La patrouille a alors entrepris de regagner la Place des fêtes de Sauvabelin. Dans l'intervalle, Y._ a informé l'opérateur de la centrale qu'il avait retrouvé son chemin. B. Par jugement du 5 octobre 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre un jugement du Tribunal de police de l'arrondissement de Lausanne du 24 février 2011 le reconnaissant coupable d'abus d'autorité (art. 312 CP) et le condamnant à une peine pécuniaire de 7 jours-amende à 80 francs l'un, avec sursis et délai d'épreuve de deux ans. C. X._ interjette un recours en matière pénale au Tribunal fédéral contre l'arrêt de la Cour d'appel pénale dont il demande la réforme, en ce sens qu'il est libéré de l'infraction d'abus d'autorité. A titre subsidiaire, il conclut au renvoi de la cause à l'autorité de première instance pour nouveau jugement au sens des considérants, plus subsidiairement à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente. Il sollicite en outre l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures. 