A.- Par décision du 4 octobre 2000, l'Office fédéral des réfugiés n'est pas entré en matière sur la demande d'asile présentée par B._, ressortissant mauritanien, a retiré l'effet suspensif à un éventuel recours et a invité le prénommé à quitter immédiatement la Suisse, sous peine de refoulement. Après avoir refusé de restituer l'effet suspensif selon décision incidente du 16 octobre 2000, la Commission suisse de recours en matière d'asile a, le 8 novembre 2000, déclaré irrecevable le recours dont elle avait été saisie. Le 16 novembre 2000, B._ a disparu de l'école où il avait été placé. Arrêté le 25 novembre 2000 sur la scène de la drogue à Genève, B._ a été remis le lendemain à la Police cantonale valaisanne, à laquelle il a déclaré qu'il refusait de rentrer dans son pays d'origine, qu'il était dépourvu de documents d'identité et qu'il n'avait rien entrepris pour s'en procurer. Par décision du 26 novembre 2000, le Service de l'état civil et des étrangers du canton du Valais (ci-après: le Service cantonal) a ordonné la mise en détention immédiate de l'intéressé en vue du refoulement pour une durée de trois mois. Entendu le 29 novembre 2000, B._ a indiqué qu'il était prêt à quitter la Suisse pour se rendre en Italie mais pas dans son pays d'origine. Le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais a, par arrêt du 29 novembre 2000, confirmé la décision précitée du 26 novembre 2000. B.- Par acte de recours du 4 décembre 2000 adressé au Tribunal fédéral, B._ conclut implicitement à l'annulation de l'arrêt précité et à sa mise en liberté immédiate. Le Service cantonal propose de rejeter le recours, tandis que le Tribunal cantonal et l'Office fédéral des étrangers ont renoncé à se déterminer. 