Faits : A. Par jugement du 23 octobre 2013, le Tribunal de police de l'arrondissement de l'Est vaudois a libéré X._ de l'accusation de menaces, a constaté qu'il s'est rendu coupable d'injure et l'a exempté de toute peine, a donné acte à Y._ de ses réserves civiles à l'encontre de X._ s'agissant de sa prétention en tort moral, a dit qu'il n'est pas alloué de dépens pénaux et a mis une partie des frais de la cause à la charge de X._, le solde étant laissé à la charge de l'Etat. Ce jugement faisait suite à l'opposition de X._ à l'encontre de l'ordonnance pénale rendue le 14 janvier 2013 par le Ministère public de l'arrondissement de l'Est vaudois. B. Par jugement du 14 février 2014, la Cour d'appel du Tribunal cantonal vaudois a partiellement admis l'appel formé par Y._, en ce sens que X._ doit verser à ce dernier des dépens pénaux de première instance de 1'500 fr., le jugement étant confirmé pour le surplus. C. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il n'est pas alloué de dépens pénaux à Y._ dans le cadre du jugement rendu le 23 octobre 2013 par le Tribunal de police de l'arrondissement de l'Est vaudois; il conclut, à titre subsidiaire, à l'annulation de la décision entreprise. 