Faits: A. Par ordonnance du 1er février 2013, le Procureur de l'arrondissement de Lausanne a refusé d'entrer en matière sur une plainte déposée contre X._ pour dommages à la propriété. B. Statuant par arrêt du 8 mars 2013, le Juge de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a admis partiellement le recours de X._, lui a alloué une indemnité au sens de l'art. 429 al. 1 let. a CPP à hauteur de 421 fr. 20 pour la procédure de première instance et de 405 fr. pour la procédure de recours. C. Le Ministère public du canton de Vaud forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant à sa réforme en ce sens que le recours de X._ est rejeté, frais à sa charge. L'autorité précédente a renoncé à se déterminer. X._ a déclaré s'en rapporter à justice tout en présentant des observations sur le recours. 