Faits : A. Par décision de transfert de mandat du 15 juillet 2012, X._ a été désigné défenseur d'office de A._. Celui-ci a été condamné, par jugement du 18 décembre 2013 rendu par le Tribunal correctionnel de l'arrondissement de Lausanne, à une peine privative de liberté de 22 mois, sous déduction de la détention provisoire subie avant jugement (ch. II) pour des actes d'ordre sexuel avec des enfants, des actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et pour pornographie (ch. I). Au chiffre VIII de la décision, le tribunal a notamment fixé à 3'254 fr. 15, TVA comprise, l'indemnité due à X._, en sa qualité de défenseur d'office du prévenu. B. Statuant sur recours de X._, le Juge de la Chambre des recours pénale du Tribunal cantonal vaudois a, par décision du 12 février 2014, confirmé le montant de l'indemnité arrêté par les premiers juges et a mis les frais de la procédure de recours à sa charge. C. X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt cantonal et conclut, avec suite de frais et dépens, à ce qu'il soit réformé en ce sens que l'indemnité due soit arrêtée à 3'588 fr., les débours étant fixés à 399 fr. 80, TVA non comprise. Subsidiairement, il conclut à ce que la décision soit annulée et renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Invités à se déterminer sur le recours, le Ministère public y a renoncé et la cour cantonale s'est référée en substance aux considérants de son arrêt. 