Faits: A. Par jugement du 4 novembre 2011, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour lésions corporelles simples à une peine pécuniaire de 20 jours-amende à 20 fr. avec sursis pendant 2 ans et a alloué à Y._ une indemnité de 2000 fr. pour tort moral et de 3839 fr. 30 à titre de participation à ses honoraires d'avocat, acte de ses réserves civiles lui étant donné pour le surplus. B. Par jugement du 7 mars 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et a confirmé le jugement de première instance. En bref, il ressort les éléments suivants de ce jugement. En marge d'un litige civil avec l'épouse de X._ au sujet de la vente d'un écran d'ordinateur d'occasion, Y._ s'est rendu, le 12 mai 2009, au domicile de X._ et de son épouse pour convaincre son cocontractant du bien-fondé de ses doléances. Lorsque Y._ a manifesté son intention de pénétrer dans l'immeuble dans lequel se trouvait le logement de X._, celui-ci l'a repoussé des deux mains pour l'en empêcher. Il s'en est suivi une altercation physique lors de laquelle Y._ s'est brisé une cheville sur une bordure en béton. C. X._ forme un recours en matière pénale contre ce jugement. Il conclut, sous suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté des chefs d'accusation de lésions corporelles simples et de voies de fait. Il n'a pas été ordonné d'échange d'écritures. 