Faits: A. L'Office régional du ministère public du Valais central (ci-après: le Ministère public) instruit une enquêtes contre A._ pour escroquerie et tentative d'escroquerie. Il est en substance reproché au prénommé d'avoir tenté de soutirer la somme de 10'000 euros à une nonagénaire le 14 mai 2010 et de s'être fait remettre 5'000 fr. par cette dame le 7 juillet 2010. Le 19 janvier 2011, l'intéressé a été entendu par la police en présence de son avocate. Le 20 janvier 2011, A._ a requis l'assistance judiciaire et demandé qu'un conseil d'office lui soit désigné en la personne de Me Flore Primault. Par ordonnance du 2 février 2011, le Ministère public a prononcé un refus d'entrer en matière, en considérant notamment que le prévenu avait réparé le dommage, que sa culpabilité et les conséquences de son acte étaient peu importantes et qu'il avait de surcroît exprimé des regrets. Par ordonnance séparée du même jour, le Ministère public a rejeté la requête d'assistance judiciaire. B. Saisi d'un recours de A._, le Juge de la Chambre pénale du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a confirmé cette décision par ordonnance du 6 octobre 2011. Il a notamment considéré qu'il ne s'agissait pas d'un cas de défense obligatoire au sens de l'art. 130 du code de procédure pénale suisse (CPP; RS 312.0) et que la cause ne présentait pas des difficultés de fait ou de droit justifiant l'assistance d'un défenseur (art. 132 al. 2 CPP). C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cette ordonnance et de lui octroyer l'assistance judiciaire dès le 19 janvier 2011, en désignant Me Flore Primault en qualité de défenseur d'office. Il conclut subsidiairement au renvoi de la cause à la juridiction cantonale pour nouvelle décision. Il requiert en outre l'octroi de l'assistance judiciaire devant le Tribunal fédéral. Le Ministère public et le Tribunal cantonal ont renoncé à se déterminer. 