Faits: A. Né en 1991, X._ prétend être un ressortissant soudanais. Par décision du 9 juin 2010 entrée en force, l'Office fédéral des migrations (ci-après: l'Office fédéral) n'est pas entré en matière sur la demande d'asile déposée par X._, prononçant le renvoi du requérant de Suisse d'ici au 9 juillet 2010. Il a été précisé que le canton du Valais devait procéder à l'exécution. Le 1er septembre 2010, X._ a été condamné par le Tribunal de Sion à vingt mois de peine privative de liberté et à une amende de 200 fr., sous déduction de la détention préventive pour violation grave de la législation fédérale sur les stupéfiants et défaut d'avis en cas de trouvaille. Le 27 janvier 2011, l'Office fédéral a rejeté la demande de reconsidération déposée par l'intéressé à l'encontre de la décision du 9 juin 2010, en soulignant que ses assertions sur son origine n'étaient pas crédibles. Par décision transmise à X._ le 9 mai 2011, le Service de la population et des migrations du canton du Valais (ci-après: le Service cantonal) a placé X._ en détention pour une durée de trois mois au plus, après avoir entendu l'intéressé, qui avait déclaré ne pas vouloir regagner le Soudan, n'être en possession d'aucun document prouvant son identité et vouloir se rendre en Italie. Par arrêt du 11 mai 2011 rendu par le Juge unique, le Tribunal cantonal valaisan (ci-après: le Tribunal cantonal) a approuvé la décision du Service cantonal du 9 mai 2011. B. A l'encontre de l'arrêt du 11 mai 2011, X._ déclare former un recours auprès du Tribunal fédéral, au terme duquel il demande un suivi médical, la révocation de la détention administrative et sa remise en liberté immédiate, avant d'en savoir plus sur ses origines. Le Tribunal cantonal a renoncé à se déterminer. Le Service cantonal a transmis son dossier sans observation. L'Office fédéral ne s'est pas prononcé et X._ n'a pas fourni d'observations complémentaires. 