Faits : A. Le 7 février 2013, l'attention de policiers en patrouille a été attirée par un homme, porteur de deux grandes pancartes, qui interpellait des passants sur la place Saint-François à Lausanne. Lorsque les agents ont procédé à son contrôle, il n'avait plus dites pancartes. Il s'est montré d'entrée oppositionnel envers les policiers et n'a cessé d'élever la voix malgré les nombreuses sommations des agents. Après discussion, il a accepté de présenter sa carte d'identité et a été identifié en la personne de X._. Il a refusé de donner connaissance du contenu des pancartes aux agents. Au terme du contrôle, il a crié de plus en plus fort, notamment lorsque les policiers ont regagné leur véhicule. Son comportement a attiré l'attention de nombreux passants. B. X._ a fait opposition aux deux ordonnances successives le sanctionnant pour trouble à la tranquillité et à l'ordre publics (art. 26 du règlement général de la police de la commune de Lausanne; RGP/Lausanne). Par jugement du 17 septembre 2013, le Tribunal de police de l'arrondissement de Lausanne a confirmé cette condamnation et prononcé une amende de 120 fr., la peine de substitution étant fixée, en cas de défaut de paiement fautif, à deux jours. C. Par jugement du 29 octobre 2013, le Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par X._ et confirmé le jugement du 17 septembre 2013. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à la réforme du jugement du 29 octobre 2013 en ce sens qu'il est acquitté et qu'une indemnité de 5'000 fr. lui est allouée pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. Subsidiairement, il sollicite d'être exempté de toute peine, plus subsidiairement encore que le jugement du 29 octobre 2013 soit annulé et la cause renvoyée à la juridiction cantonale pour nouvelle instruction dans le sens des motifs. Il requie rt l'effet suspensif. L'autorité précédente et le Ministère public ont renoncé à se déterminer. 