Faits: A. Le 18 mai 2011, A._ a été interpellé suite à un incendie ayant détruit la chambre qu'il occupait dans un foyer à Genève. Il a admis avoir provoqué cet incendie la veille en brûlant des papiers personnels et avoir quitté les lieux sans donner l'alerte, expliquant en substance qu'il avait agi sous le coup d'une pulsion. Par ordonnance du 19 mai 2011, le Tribunal des mesures de contrainte du canton de Genève (ci-après: le Tmc) a ordonné sa détention provisoire pour une durée de trois mois, en raison d'un risque concret de réitération. Cette détention a été prolongée par la suite. Dans un rapport du 7 septembre 2011, l'expert-psychiatre mandaté par le Ministère public du canton de Genève (ci-après: le Ministère public) a estimé que le risque de récidive présenté par A._ pouvait être limité par un traitement psychiatrique, qui "devrait avoir lieu en milieu institutionnel ouvert". Il préconisait à titre transitoire un placement dans l'hôpital psychiatrique de Belle-Idée, solution préférable selon lui à un maintien en détention provisoire. B. Par ordonnance du 17 octobre 2011, le Tmc a rejeté une requête de A._ tendant à sa mise en liberté assortie d'une hospitalisation à la clinique de Belle-Idée. Par arrêt du 4 novembre 2011, la Chambre pénale de recours de la Cour de justice du canton de Genève (ci-après: la Cour de justice) a confirmé ce refus, considérant en substance qu'une assignation à résidence à la clinique de Belle-Idée assortie d'une obligation de suivre un traitement médical ne pouvaient pas tenir lieu de mesures de substitution au sens de l'art. 237 CPP. Statuant sur recours de A._, le Tribunal fédéral a annulé cet arrêt et renvoyé la cause au Tmc pour qu'il prenne les dispositions utiles afin d'ordonner la mise en liberté provisoire du recourant assortie d'un placement en institution ouverte - précédé le cas échéant d'un placement à la clinique de Belle-Idée ou dans une institution offrant des conditions similaires - et de l'obligation de poursuivre le traitement psychiatrique suivi actuellement (arrêt 1B_654/2011 du 7 décembre 2011). Donnant suite à cet arrêt, les autorités cantonales ont pris les mesures nécessaires pour que le prévenu soit mis en liberté et admis à la clinique de Belle-Idée. Par ordonnance du 16 décembre 2011, le Tmc a ainsi ordonné la mise en liberté de l'intéressé moyennant la mise en oeuvre des mesures précitées. Le transfert vers la clinique de Belle-Idée a eu lieu le 9 janvier 2012. A._ a fugué le lendemain matin. Il a été retrouvé dans la journée et placé à l'Unité carcérale psychiatrique de la clinique, en raison d'un état de décompensation. Par ordonnance du 11 janvier 2012, le Tmc a révoqué les mesures de substitution et ordonné la mise en détention provisoire de A._ jusqu'au 11 avril 2012. Faisant application de l'art. 237 al. 5 CPP, cette autorité a constaté que le prévenu avait clairement transgressé les mesures de substitution ordonnées le 16 décembre 2011 et qu'aucune autre mesure de substitution ne permettait de pallier le risque de réitération. Statuant sur recours de l'intéressé, la Cour de justice a confirmé cette appréciation par arrêt du 31 janvier 2012. C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt et de renvoyer la cause au Tmc pour qu'il ordonne sa mise en liberté provisoire moyennant un placement à la clinique de Belle-Idée ou dans une institution offrant des conditions similaires, assorti d'une obligation de poursuivre un traitement psychiatrique jusqu'à son placement dans une institution ouverte adaptée à son état psychique. Il requiert en outre l'octroi de l'assistance judiciaire. La Cour de justice a renoncé à se déterminer. Le Ministère public a présenté des observations, concluant au rejet du recours. Le recourant a renoncé à formuler des observations complémentaires. 