Faits: A. A._ a été détenu avant jugement à la prison du Bois-Mermet entre le 22 juillet et le 15 octobre 2009. Travaillaient alors dans cet établissement le surveillant-chef D._ et les agents de détention B._, C._, E._ et F._. Le 13 novembre 2009, A._ a déposé plainte pénale contre ces cinq personnes pour lésions corporelles simples qualifiées et abus d'autorité, infractions commises selon lui le 18 septembre 2009. B. B.a. Par ordonnance du 12 mars 2010, le Juge d'instruction de l'arrondissement de Lausanne a refusé de suivre à la plainte, estimant que les versions des parties étaient irrémédiablement contradictoires, que les agents étaient autorisés par la loi à agir comme ils l'ont fait et que leur intervention, visant à éviter tout risque à l'encontre des tiers que le détenu allait côtoyer, était justifiée et proportionnée. Par arrêt du 29 avril 2010, le Tribunal d'accusation du canton de Vaud a annulé cette ordonnance. Cette autorité a jugé qu'il n'était pas possible sur la base du seul rapport du surveillant-chef de déterminer si l'usage de la force par les cinq agents, ayant causé à A._ des lésions corporelles simples, était justifié et proportionné. Il convenait également de déterminer si l'acte des agents avait son fondement dans l'ordre légal et de vérifier s'il existait un enregistrement vidéo de l'incident. B.b. Après avoir entendu les six parties, le Procureur général du canton de Vaud a, par ordonnance du 15 septembre 2011, classé la procédure pénale. Il a en substance considéré qu'il n'y avait pas d'éléments suffisants au dossier pour affirmer que les faits se seraient déroulés de la manière décrite par A._, que les agents avaient usé de la force dans le respect du principe de proportionnalité, pour des raisons sécuritaires, afin de garantir que A._ ne cache pas sur lui un objet potentiellement dangereux. Il a ajouté que même si l'usage de la force avait été excessif, rien ne permettait d'attribuer tel geste ou tel coup à un ou plusieurs des agents de détention et qu'il n'existait dès lors aucune construction juridique conforme au droit qui permettrait d'envisager de retenir à l'encontre de tous une infraction qui n'aurait été commise que par l'un d'entre eux. Par arrêt du 9 novembre 2011, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a partiellement admis le recours de A._ et annulé l'ordonnance du 15 septembre 2011. Elle a retenu qu'il existait des indices suffisants que le comportement des agents puisse être constitutif de lésions corporelles simples et/ou d'agression, ainsi que d'abus d'autorité, la disproportion entre le but à atteindre et les moyens employés par les cinq agents pouvant laisser penser que ces derniers avaient abusé des pouvoirs de leur charge, dans le dessein de nuire à A._. La cour cantonale a toutefois indiqué que le comportement des cinq agents pouvait être licite s'ils avaient agi comme la loi l'ordonnait, ce que l'instruction devait encore établir. Elle devait également être complétée sur la question de savoir si l'acte était proportionné à son but. B.c. Après avoir procédé à ces investigations, le Procureur général a, par ordonnance du 22 janvier 2013, classé la procédure. En bref, il s'est fondé sur les déclarations des prévenus, qu'il a estimées cohérentes et crédibles, et a jugé que les lésions subies par A._, dont certaines pouvaient avoir été causées par lui-même, résultaient d'un emploi de la force autorisé par la loi et proportionné. L'opposition de A._ à montrer l'objet évoquait sérieusement le risque d'usage d'un instrument dangereux. De la sorte, il était exclu que l'un ou l'autre des surveillants puisse être condamné pour abus d'autorité ou lésions corporelles simples. Il a également estimé que l'état de nécessité, suivi par la légitime défense étaient également réalisés. C. Par arrêt du 22 mars 2013, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par A._ contre cette ordonnance. Elle a retenu qu'il était indubitable que le comportement des gardiens de détention était à l'origine des lésions ou d'une partie des lésions subies par A._. Un faisceau d'indices concordants permettait néanmoins de faire peser un doute sérieux sur le récit de A._, privilégiant de manière convaincante la version des faits des prévenus. Suivant le ministère public, la cour cantonale a considéré que les déclarations des geôliers quant au déroulement des évènements paraissent plus crédibles que celles du recourant. D. A._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à ce que les faits soient complétés, le recours admis et l'arrêt réformé en ce sens que l'ordonnance de classement du 22 janvier 2013 est annulée et le dossier renvoyé au Procureur général pour qu'il procède à la mise en accusation devant le tribunal compétent des cinq employés visés par sa plainte. Subsidiairement, il sollicite l'annulation de l'arrêt et le renvoi de la cause à l'autorité précédente. La Chambre des recours pénale, le ministère public et les intimés ont déclaré renoncer à se déterminer. 