Faits: A. A._ et B._ ont déposé plainte pénale le 2 juin 2006 contre X._ et Y._, pour abus de confiance, escroquerie et faux dans les titres. Par ordonnance du 14 janvier 2013, le Ministère public a classé la procédure, laissé les frais à la charge de l'Etat et refusé d'accorder une indemnité au sens de l'art. 429 al. 1 let. a CPP à X._. B. Par arrêt du 28 mars 2013, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a admis le recours de X._ et lui a accordé une indemnité au sens de l'art. 429 al. 1 let. a CPP à raison de 5'818 fr. 50. C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, sous suite de dépens, principalement à sa réforme en ce sens qu'une indemnité de 7'929 fr. 90, subsidiairement de 6'874 fr. 20 lui est accordée. Subsidiairement, il requiert l'annulation de l'arrêt attaqué. Le Ministère public du canton de Vaud s'est déterminé et a conclu au rejet du recours. A la suite de cette écriture, X._ a déposé des observations. 