Faits: A. Le 18 mai 2011, A._ a été interpellé suite à un incendie ayant détruit la chambre qu'il occupait dans un foyer à Genève. Il a admis avoir provoqué cet incendie la veille en brûlant des papiers personnels et avoir quitté les lieux sans donner l'alerte, expliquant en substance qu'il avait agi sous le coup d'une pulsion. Par ordonnance du 19 mai 2011, le Tribunal des mesures de contrainte du canton de Genève (ci-après: le Tmc) a ordonné la détention provisoire de A._ pour une durée de trois mois, en raison d'un risque concret de réitération. Le 9 août 2011, le Tmc a prolongé cette détention jusqu'au 7 octobre 2011. Le recours formé contre cette ordonnance a été rejeté. Le Ministère public du canton de Genève (ci-après: le Ministère public) a ordonné une expertise psychiatrique de A._. Dans son rapport rendu le 7 septembre 2011, l'expert mandaté conclut à l'existence, au moment des faits, d'un "grave trouble mental sous forme d'un trouble psychotique aigu, ainsi qu'un retard mental léger et un trouble grave de la personnalité". Il estime que l'expertisé présente un risque de commettre à nouveau des infractions, "surtout en cas d'interruption du traitement psychiatrique". Un tel traitement, qui "devrait avoir lieu en milieu institutionnel ouvert", est susceptible de limiter ce risque de récidive. Entendu le 4 octobre 2011, l'expert a déclaré avoir des doutes sur l'assiduité de l'expertisé à suivre le traitement hors d'une institution. Il préconise en outre à titre transitoire un placement dans l'hôpital psychiatrique de Belle-Idée, solution préférable selon lui à un maintien en détention provisoire. B. Le 12 octobre 2011, A._ a demandé sa mise en liberté, assortie d'une hospitalisation à la clinique de Belle-Idée. Le 13 octobre 2011, le Ministère public a rendu une "ordonnance de refus de mise en liberté", consistant en réalité en une prise de position à l'attention du Tmc (art. 228 al. 2 CPP). Il considérait la demande comme prématurée. Le Tmc a rejeté la requête par ordonnance du 17 octobre 2011, en relevant qu'il existait un risque de fugue de l'hôpital psychiatrique et que seul un jugement au fond permettrait de mettre en place de manière contraignante la structure et l'encadrement indispensables. Par ordonnance du 27 octobre 2011, le Tmc a prolongé à nouveau la détention provisoire, jusqu'au 27 janvier 2012. A._ a recouru contre l'ordonnance du 17 octobre 2011 auprès de la Chambre pénale de recours de la Cour de justice du canton de Genève (ci-après: la Cour de justice). Cette autorité a rejeté le recours par arrêt du 4 novembre 2011. Considérant qu'il existait un risque de récidive, elle a estimé en substance que les aménagements proposés par le recourant - à savoir une assignation à résidence à la clinique de Belle-Idée, l'obligation de se soumettre à un traitement médical et le port d'un bracelet électronique - ne pouvaient pas tenir lieu de mesures de substitution au sens de l'art. 237 CPP. C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt et d'ordonner sa mise en liberté provisoire moyennant une hospitalisation à la clinique de Belle-Idée, une obligation de se soumettre au traitement médical psychiatrique prescrit et le port d'un bracelet électronique. Il requiert en outre l'octroi de l'assistance judiciaire. Le Ministère public et la Cour de justice ont renoncé à se déterminer. 