Faits : A. Par jugement du 2 mai 2013, le Tribunal de police de l'arrondissement de La Côte a libéré X._ du chef d'accusation d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. B. Par jugement du 31 octobre 2013, la Cour d'appel pénale du Tribunal cantonal vaudois a admis les appels formés par le Ministère public et par A._ et rejeté celui formé par X._. Elle a condamné celui-ci pour actes d'ordre sexuel avec des personnes hospitalisées, détenues ou prévenues à une peine pécuniaire de 90 jours-amende à 50 fr. avec sursis pendant 2 ans, alloué à A._, à charge de X._, un montant de 4000 fr. à titre d'indemnité pour le tort moral et un total de 11'000 fr. à titre d'indemnité au sens de l'art. 433 CPP et mis les frais de procédure de première et seconde instances à charge de X._. En bref, il ressort de ce jugement que le 5 novembre 2010, vers 19h30, à la Clinique B._, X._, employé en tant qu'infirmier dans cette institution, s'est rendu dans la chambre occupée par A._, alors hospitalisée, et l'a embrassée sur la bouche et touchée assez violemment sur les seins et les fesses par dessus les habits. A._ a déposé plainte pénale le 31 janvier 2011. C. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement, à sa réforme en ce sens que le jugement de première instance est confirmé et qu'une indemnité, fixée à dire de justice, lui est allouée pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure et la réparation de son tort moral subi en raison d'une atteinte particulièrement grave à sa personnalité. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale pour nouveau jugement. 