Faits: A. Le 10 mai 2011, l'Office cantonal de la population du canton de Genève (ci-après l'Office cantonal) a informé X._, ressortissant français, de son intention de prononcer son renvoi de Suisse et l'a invité à se déterminer dans un délai de 10 jours. Par courrier daté du 23 mai 2011, X._ a sollicité une prolongation de ce délai. Le 24 mai 2011, l'Office cantonal a prononcé le renvoi de Suisse de X._ notamment en raison d'une peine privative de liberté de six ans qui lui avait été infligée le 4 novembre 2009 et confirmée le 1er juin 2010. La décision a été déclarée exécutoire nonobstant recours. X._ a recouru au Tribunal administratif de première instance de Genève (ci-après le Tribunal de première instance) contre la décision du 24 mai 2011. B. Le 1er juin 2011, X._ a requis l'assistance juridique pour la procédure de recours devant le Tribunal de première instance, se plaignant d'une violation de son droit d'être entendu et d'une appréciation erronée des faits pertinents. Par décision du 12 août 2011, le Vice-président du Tribunal civil a rejeté la requête d'assistance juridique de X._. Il a considéré que le recours à l'encontre de la décision de renvoi prononcée par l'Office cantonal était dépourvu de chance de succès. Il a retenu en particulier que la violation du droit d'être entendu invoquée par le recourant n'était pas établie et pouvait, au demeurant, être réparée dans la procédure de recours. Le 5 septembre 2011, X._ a recouru contre la décision du 12 août 2011, demandant à titre préalable que son audition soit ordonnée. La procuration en faveur de son conseil n'ayant pas été reçue dans le délai imparti, la Vice-présidente de la Cour de justice du canton de Genève (ci-après le Cour de justice) a déclaré ce recours irrecevable. X._ ayant signalé que la procuration avait par erreur été produite au greffe du Tribunal de première instance, la Vice-présidente de la Cour de justice a, par décision du 8 février 2012, annulé la décision d'irrecevabilité et, statuant sur le fond, rejeté le recours de X._ contre le refus de lui octroyer l'assistance juridique prononcé le 12 août 2011, sans se prononcer sur la demande d'audition du recourant. C. Par acte du 21 février 2012, X._ dépose un recours constitutionnel subsidiaire au Tribunal fédéral contre la décision du 8 février 2012. Il conclut, à titre principal, à l'annulation de la décision attaquée et à ce que le bénéfice de l'assistance juridique lui soit accordé pour la procédure de recours devant le Tribunal de première instance. Subsidiairement, il demande que le dossier soit retourné à l'autorité cantonale pour nouvelle décision au sens des considérants. Il requiert en outre le bénéfice de l'assistance judiciaire pour la procédure devant le Tribunal fédéral. Le Tribunal de première instance, la Vice-présidence du Tribunal civil et l'Office cantonal ont renoncé à déposer des observations. La Vice-présidente de la Cour de justice a déposé sa détermination en date du 28 mars 2012 et persisté dans les termes de la décision querellée. X._ a déposé d'ultimes observations le 23 avril 2012. D. Le 25 juin 2012, au terme d'un échange de vues au sens de l'art. 23 al. 2 LTF, les Cours qui se sont prononcées ont approuvé l'interprétation de l'art. 10 al. 3 de la loi genevoise sur la procédure administrative du 12 septembre 1985 (RS-GE E 5 10) proposée. 