Faits : A. A Montreux, le 31 mai 2012 vers 01h50, X._, au volant de son véhicule automobile, a été interpellé par une patrouille de police dont l'attention avait été attirée par le fait qu'il était d'abord arrêté sur la voie de circulation puis avait pris la route avec peine. Celui-ci ne portait pas la ceinture de sécurité et son état physique était sujet à caution. La police a tenté de le soumettre à un test à l'éthylomètre, en vain, de sorte qu'il a été acheminé à l'hôpital pour être soumis à une prise de sang. Celle-ci n'a pas pu être effectuée. A.a. Par ordonnance pénale du 13 août 2012, le Ministère public de l'arrondissement de l'Est vaudois a condamné X._ à une peine pécuniaire de 90 jours-amende à 90 fr., pour opposition à une mesure visant à déterminer l'incapacité de conduire (art. 91a al. 1 LCR) et contravention à l'ordonnance sur les règles de la circulation routière (art. 3a al. 1 OCR; port de la ceinture de sécurité), et a révoqué le sursis accordé le 10 octobre 2011 par le Tribunal régional de Bern-Mittelland. A.b. Le prévenu a formé opposition à cette ordonnance pénale le 18 août 2012. Il a ensuite été mis en cause pour avoir, le 28 octobre 2012, vers 18h35, à Crassier, circulé au volant de son véhicule automobile en état d'ébriété (alcoolémie qualifiée de 0.93 g o/oo) et sans être porteur de son permis de conduire. Après avoir joint les deux causes, le Ministère public a maintenu son ordonnance du 13 août 2012, a dressé un acte d'accusation englobant les deux cas et a renvoyé le prévenu en jugement. A.c. Par jugement du 13 novembre 2013, le Tribunal de police de l'arrondissement de l'Est vaudois a, s'agissant des événements du 31 mai 2012, libéré X._ du chef d'infraction d'opposition à une mesure visant à déterminer l'incapacité de conduire (art. 91a al. 1 LCR) et a constaté qu'il s'était rendu coupable d'infraction à l'art. 3a al. 1 OCR (port de la ceinture de sécurité). En lien avec l'événement du 28 octobre 2012, le Tribunal l'a reconnu coupable de conduite en état d'ébriété qualifié et infraction à la loi fédérale sur la circulation routière (art. 99 ch. 3 LCR; port du permis de conduire). Il l'a condamné à une peine pécuniaire de 60 jours-amende à 90 fr., avec sursis et à une amende de 900 francs. Il a révoqué le sursis accordé le 10 octobre 2011 et a ordonné l'exécution de la peine de 50 jours-amende à 90 fr. prononcée par le Tribunal régional de Bern-Mittelland. Une partie des frais de la cause était à la charge du prévenu, le solde étant laissé à la charge de l'Etat. Le Tribunal a refusé qu'une indemnité au titre de l'art. 429 CPP soit allouée au prévenu. L'acquittement du chef d'opposition à une mesure visant à déterminer l'incapacité de conduire se justifiait du fait que le prévenu n'avait pas refusé d'être amené par la police à l'hôpital pour y subir une prise de sang et n'avait pas non plus refusé le principe de cette dernière mais s'était simplement opposé à la manière d'y procéder (sur la main plutôt qu'au pli du coude), pour des raisons pertinentes. Le personnel hospitalier ne lui avait pas proposé d'alternative et s'était contenté d'abandonner la procédure. Rien n'indiquait qu'on lui eut proposé une seconde fois de procéder à un prélèvement. B. Statuant sur appel du prévenu portant uniquement sur la question de l'indemnité au sens de l'art. 429 CPP, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a confirmé le refus d'indemnisation au sens de l'art. 429 CPP, par jugement du 20 janvier 2014. C. X._ forme un recours en matière pénale contre la décision cantonale et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'une indemnité au titre de l'art. 429 CPP lui soit allouée à hauteur de 14'404 francs. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Invités à se déterminer sur le recours, la cour cantonale y renonce en se référant aux considérants de sa décision et le Ministère public conclut, à titre principal, au rejet du recours. Subsidiairement, dans l'hypothèse où une indemnité devait être allouée au recourant, le Ministère public suggère que celle-ci soit fondée sur un nombre d'heures de travail réduit à un tarif horaire maximal de 350 fr. 