Faits: A. Par arrêt du 3 septembre 2007, la Cour pénale II du Tribunal cantonal valaisan a condamné X._ pour diverses violations de la LCR et viol aggravé au sens de l'art. 190 al. 3 CP à 4 ans de réclusion, sanction complémentaire à quatre autres peines dont une pour viol et actes d'ordre sexuel avec un enfant, sous déduction de la détention préventive subie dès le 5 janvier 2006. Elle a prononcé un internement au sens de l'art. 64 al. 1 CP. Le recours contre cet arrêt et notamment contre l'internement a été rejeté par arrêt 6B_604/2007 du 9 janvier 2008 du Tribunal fédéral. B. Compte tenu de l'échéance prochaine de la détention, plusieurs rapports et expertises ont été déposés afin de déterminer l'opportunité de l'instauration d'un traitement thérapeutique institutionnel en lieu et place de l'internement ordonné: - Le Service de probation du canton de Neuchâtel, représenté par B._, psychologue-criminologue, et C._, psychologue, a rendu un rapport d'expertise psycho-criminologique le 9 novembre 2009. - La Direction des établissements de Bellevue, où séjourne X._, a déposé un rapport le 30 novembre 2009. - La Commission pour l'examen de la dangerosité du canton du Valais s'est déterminée lors de sa séance du 14 décembre 2009. - Le Service d'expertises psychiatriques du Réseau Santé Valais (RSV), représenté par D._, médecin adjoint, et E._, psychologue, a déposé son rapport d'expertise le 13 janvier 2010. C. Le 10 février 2010, le juge de l'application des peines et mesures du Valais central a constaté que les conditions d'un traitement institutionnel thérapeutique en faveur de X._ n'étaient pas remplies. Par jugement du 14 octobre 2010, la Cour pénale II du Tribunal cantonal valaisan a rejeté le recours de droit administratif déposé par X._ contre cette décision. En bref, cette autorité a considéré que l'internement, en l'état actuel des choses, constituait la seule mesure susceptible d'écarter le risque de récidive et la dangerosité que X._ représentait pour la société, l'atteinte aux droits de la personnalité en résultant n'étant pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. Elle s'est fondée sur l'avis des experts et de la Commission pour l'examen de la dangerosité. Elle a en revanche écarté celui de la Direction des établissements de Bellevue, du fait qu'il ne discutait pas de la pathologie psychiatrique dont X._ souffre ni, en conséquence, de l'influence que pourrait avoir la mise en ?uvre d'un traitement thérapeutique institutionnel sur son trouble et sur le risque de passage à l'acte. D. X._ forme un recours en matière pénale. Il conclut à être mis au bénéfice d'un traitement institutionnel thérapeutique dans le cadre de l'internement dont il fait l'objet. Il sollicite également le bénéfice de l'assistance judiciaire. Aucun échange d'écritures n'a été ordonné. 