Faits: A. Le 30 novembre 2011, la banque X._ a déposé plainte pénale contre inconnu pour faux dans les titres, escroquerie et abus de confiance, et a pris des conclusions civiles à hauteur de 720'000 fr. à l'encontre de toute personne qui aurait participé auxdites infractions. Dans le cadre de cette procédure, A._ a été entendu en qualité de personne appelée à donner des renseignements. Il a requis, le 6 janvier 2012, la désignation de son avocat comme conseil d'office, au motif qu'il ne disposait plus des ressources suffisantes pour s'acquitter des honoraires de ce dernier. Par ordonnance du 13 février 2012, le procureur a rejeté la requête de désignation d'un défenseur d'office à A._, constatant que son indigence n'était pas établie. B. A._ a porté sa cause devant la Chambre des recours pénale du Tribunal cantonal vaudois (ci-après: la Chambre des recours) qui, par arrêt du 4 mai 2012, a rejeté son recours et confirmé l'ordonnance attaquée. La Chambre des recours a considéré pour l'essentiel que les pièces produites par l'intéressé ne permettaient pas d'établir sa situation financière et que, malgré les occasions qui lui avaient été offertes, celui-ci avait échoué à démontrer sa réelle indigence. C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral de réformer l'arrêt de la Chambre des recours du 4 mai 2012 en ce sens que l'assistance judiciaire lui est accordée avec effet au 6 janvier 2012, son avocat étant désigné comme conseil juridique gratuit dès cette date. Subsidiairement, il conclut à l'annulation de la décision attaquée, le dossier de la cause étant renvoyé à la Chambre des recours pour nouvelle instruction et décision dans le sens des considérants. Il requiert en outre l'assistance judiciaire devant le Tribunal fédéral. Le recourant se plaint d'une constatation inexacte des faits, d'une violation du droit d'être entendu ainsi que du droit à l'assistance judiciaire gratuite. La Chambre des recours et le procureur renoncent à se déterminer et se réfèrent aux considérants de l'arrêt attaqué. 