Faits: A. A._, ressortissant français, est en détention provisoire depuis le 21 août 2012 sous les préventions de tentative de meurtre, éventuellement de lésions corporelles graves et d'infraction à la loi fédérale sur les armes. Il lui est reproché d'avoir planté la lame d'une baïonnette dans le flanc gauche de sa victime à une profondeur de 20 cm, lors d'une altercation sur la terrasse d'un café à Fribourg. Sa détention a été régulièrement prolongée par le Tribunal des mesures de contrainte du canton de Fribourg (Tmc) jusqu'au 20 mai 2013. Le 26 avril 2013, A._ a demandé sa mise en liberté moyennant la mise en place d'un suivi psychiatrique et d'un accompagnement socio-judiciaire. Par ordonnance du 7 mai 2013, le Tmc a prononcé la mise en liberté immédiate du prénommé assortie d'un suivi thérapeutique par le Centre de psychiatrie forensique, de la mise en place d'un accompagnement social et d'un contrôle judiciaire assurés par le Service de probation, d'un respect strict et sous contrôle biologique d'une abstinence à toute substance psychotrope non prescrite et du dépôt des papiers d'identité. Par arrêt du 16 mai 2013, la Chambre pénale du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a admis partiellement le recours formé par le Ministère public de l'Etat de Fribourg (ci-après: le Ministère public) contre cette ordonnance. Elle a réformé l'ordonnance du 7 mai 2013 en ce sens que la demande de mise en liberté est rejetée et la détention prolongée jusqu'au 20 mai 2013. Elle a considéré en substance que le maintien en détention était justifié par l'existence de risques de fuite et de récidive et que les mesures de substitution ordonnées ne présentaient pas de garantie sécuritaire suffisante. B. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'arrêt du 16 mai 2013 et de confirmer l'ordonnance du 7 mai 2013, de sorte qu'il est libéré aux conditions fixées dans ladite ordonnance. Il requiert également l'assistance judiciaire. Le Tmc conclut à l'admission du recours et le Ministère public à son rejet. Le Tribunal cantonal renonce à se déterminer. Le recourant a répliqué par courrier du 6 juin 2013. Le Ministère public a fait parvenir de nouvelles pièces le 13 juin 2013, lesquelles sont postérieures à l'arrêt attaqué et ne peuvent être prises en compte (art. 99 al. 1 LTF). 