Faits: A. A._, ressortissant brésilien né en 1990, a été incarcéré depuis le 28 mars 2009 à la prison de Champ-Dollon, d'abord à titre préventif puis en exécution de sa condamnation à une peine privative de liberté de trois ans prononcée pour brigandages aggravés. Par requête administrative du 23 août 2010 adressée à la Direction générale de l'Office pénitentiaire, A._ a conclu à la constatation du caractère indigne de sa détention et demandé une indemnité de CHF 150.- par jour de détention subi dans ces conditions. Ayant été avisé que sa demande d'indemnisation relevait du Tribunal de première instance de Genève, A._ a sollicité en date du 24 novembre 2010 le bénéfice de l'assistance juridique afin de saisir cette instance. Par décision du 21 décembre 2010, confirmée par arrêt de la Chambre administrative de la Cour de justice du 13 septembre 2011, la Direction générale de l'Office pénitentiaire s'est déclarée incompétente pour statuer sur la prétention en indemnisation déposée par A._ et a transmis la demande au Tribunal de première instance, qui s'est saisi du litige le 23 décembre 2010. Le 4 janvier 2011, l'assistance juridique a été accordée à A._ pour la procédure de première instance. Le 30 mars 2011, celui-ci a déposé un complément à sa demande d'indemnisation et réclamé le versement de CHF 96'450.- en raison de la détention subie du 28 mars 2009 au 31 décembre 2010. Par jugement du 29 septembre 2011, le Tribunal de première instance a débouté A._ de toutes ses conclusions. Le 4 octobre 2011, A._ a requis l'extension du bénéfice de l'assistance juridique à la procédure de recours contre ce jugement. Par décision du 13 octobre 2011, le Vice-président du Tribunal civil a rejeté cette requête au motif que l'appel envisagé n'avait guère, voire aucune chance de succès. B. Par acte du 31 octobre 2011, A._ a recouru contre la décision précitée du 13 octobre 2011. Par décision du 8 décembre 2011, le Vice-président de la Cour de justice de Genève a rejeté le recours de A._. Il a considéré, en substance, que le droit à la réplique du recourant n'avait pas été violé puisque les pièces citées à l'appui de la décision lui étaient connues, que le défaut d'allégation et de motivation reproché au recourant en ce qui concernait les conditions de sa détention était patent, de sorte que l'on ne pouvait voir dans la sanction de ce vice une violation de l'interdiction du formalisme excessif, et que le droit à une enquête officielle effective et approfondie impliquait une motivation des griefs, laquelle faisait défaut en l'espèce. Le Vice-président de la Cour de justice en a conclu que l'appel du recourant sur ces points paraissait dénué de chances de succès, ce qui conduisait au rejet du recours. C. Par acte du 30 janvier 2012, A._ dépose un recours en matière civile au Tribunal fédéral. Il requiert à titre préalable le bénéfice de l'assistance judiciaire pour la procédure fédérale. A titre principal, il conclut à l'annulation de la décision du 8 décembre 2011 et à ce que l'assistance juridique lui soit accordée pour la procédure d'appel à l'encontre du jugement du Tribunal de première instance du 29 septembre 2011. Subsidiairement, il requiert le renvoi de la cause à l'instance précédente pour nouvelle décision. La Vice-présidence de la Cour de justice persiste dans les termes de la décision querellée. Le canton de Genève ne s'est pas déterminé. 