Faits: A. Par jugement du 26 novembre 2012, le Tribunal de police de l'arrondissement de l'Est vaudois a libéré X._ de l'accusation de contravention par négligence à la loi fédérale sur l'acquisition des immeubles par des personnes à l'étranger, lui a alloué une indemnité fondée sur l'art. 429 al. 1 let a et b CPP de 3000 fr. et laissé les frais à la charge de l'Etat. B. Par arrêt du 15 avril 2013, le Président de la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis les appels formés par le Ministère public et le Département de l'économie de l'Etat de Vaud et rejeté l'appel joint de X._. Il a condamné ce dernier pour contravention par négligence à la loi fédérale sur l'acquisition des immeubles par des personnes à l'étranger à une amende de 1000 fr., la peine privative de liberté de substitution en cas de non-paiement fautif étant fixée à 10 jours, mis les frais par 2700 fr. à sa charge, le solde de 2680 fr. 35 étant laissé à la charge de l'Etat, alloué à X._ une indemnité de l'art. 429 CPP de 2310 fr., et constaté l'extinction partielle de la créance en frais avec la créance en indemnité, le solde en faveur de l'Etat s'élevant à 390 francs. En bref, il en ressort les éléments suivants. A D._, le 11 janvier 2008, le notaire X._ a instrumenté un acte constitutif de cédules hypothécaires grevant les parts de PPE de l'immeuble sis à D._ dont la société A._ SA était propriétaire. Cette acte mentionne notamment : « (...) Par devant X._, notaire à D._, se présente: au nom de A._ SA, société anonyme dont le siège est à D._, B._, domiciliée à D._, laquelle engage valablement dite société par sa signature individuelle. A._ SA, par l'organe de sa représentante, expose tout d'abord que la société C._ B.V., lui a octroyé un prêt dont les conditions font l'objet d'une convention séparée, conditionné à la remise par le propriétaire de gages immobiliers pour un montant total de dix millions de francs. En conséquence, A._ SA déclare créer trois fois deux cédules hypothécaires AU PORTEUR du capital respectif de UN MILLION QUATRE CENT QUARANTE MILLE FRANCS UN MILLION SEPT CENT QUARANTE MILLE FRANCS UN MILLION HUIT CENT VINGT MILLE FRANCS dont elle se reconnaît débitrice (...) » Le notaire X._ a ensuite adressé une réquisition d'inscription de cet acte constitutif de cédules hypothécaires au Conservateur du Registre foncier du Pays-d'Enhaut. A réception de cet acte, le Conservateur du Registre foncier du Pays d'Enhaut a relevé qu'il y avait incertitude sur l'assujettissement au régime de l'autorisation. Il a donc invité le notaire X._ à saisir la Commission foncière, section II, autorité compétente en matière de LFAIE. A la suite de la demande déposée par le notaire X._, la Commission foncière section II a indiqué que les explications fournies ne permettaient pas d'exclure l'application de l'art. 4 al. 1 let. g LFAIE et a demandé des informations supplémentaires. Le 27 novembre 2008, A._ SA a retiré sa réquisition de l'acte constitutif de cédules hypothécaires du 11 janvier 2008. C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement, à sa réforme en ce sens qu'il est acquitté et qu'une indemnité au sens de l'art. 429 al. 1 let. a et b CPP de 20'000 fr. lui est allouée et, subsidiairement, à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité inférieure pour nouvelle décision. Invités à déposer des observations sur le recours, le Ministère public et la cour cantonale y ont renoncé, cette dernière se référant aux considérants de son arrêt, cependant que le Département de l'économie de l'Etat de Vaud a conclu à son rejet. 