A.- Le 10 août 1998, l'Office fédéral des réfugiés a rejeté la seconde demande d'asile déposée par B._, d'origine palestinienne, et sommé celui-ci de quitter la Suisse jusqu'au 30 septembre 1998, sous peine de refoulement. Placé en détention préventive le 10 juin 1998, B._ a été condamné, le 11 novembre 1998, à une peine de vingt et un mois de réclusion et à l'expulsion de Suisse d'une durée de huit ans pour vol et dommages à la propriété. Il a été libéré, à titre conditionnel, le 10 août 1999, avec un délai d'épreuve de deux ans. Le 30 novembre 1999, il a été arrêté à l'aéroport de Zurich alors qu'il était en possession d'un faux passeport hollandais. Le 3 décembre 1999, il a été condamné de ce chef à septante-cinq jours d'emprisonnement. Après avoir purgé sa peine, l'intéressé a été remis aux autorités valaisannes chargées de l'exécution de son renvoi. Par décision du 13 février 2000, confirmée le 17 février 2000 par le Juge unique de la Cour de droit publicdu Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) et par le Tribunal fédéral (arrêt du 28 mars 2000), le Service de l'état civil et des étrangers du canton du Valais (ci-après: le Service cantonal) a ordonné la mise en détention immédiate en vue de refoulement de B._ pour une durée de trois mois au plus, des indices faisant craindre que l'intéressé tente de se soustraire à son renvoi. Par arrêt du 10 mai 2000, le Tribunal cantonal a confirmé le prononcé du Service cantonal prolongeant pour six mois au plus la détention de l'intéressé. Le 3 juillet 2000, le Tribunal fédéral a partiellement admis le recours de droit administratif interjeté par B._ en limitant la prolongation de la détention à une durée de trois mois au plus, soit jusqu'au 12 août 2000. B.- Le 17 juillet 2000, le Service cantonal a ordonné la levée de la détention de B._ et son assignation au territoire du canton du Valais pour une durée indéterminée. Saisi d'un recours, le Tribunal cantonal l'a rejeté le 13 novembre 2000. Il a retenu en substance que B._ avait été condamné pénalement à deux reprises, qu'il refusait de coopérer avec les autorités chargées d'organiser son renvoi et que son comportement justifiait une mesure d'assignation. Cette mesure n'était en outre pas disproportionnée, l'intéressé conservant la possibilité de mener une vie sociale convenable et d'obtenir ponctuellement l'autorisation de quitter le canton du Valais pour rendre visite à son frère ou à sa fiancée, domiciliés dans le canton de Neuchâtel. Le Tribunal cantonal a rejeté la demande d'assistance judiciaire de B._ mais l'a exempté des frais de la cause. C.- Agissant par la voie du recours de droit administratif, B._ demande au Tribunal fédéral d'annuler l'arrêt rendu le 13 novembre 2000 par le Tribunal cantonal, de dire que toute mesure d'assignation à son encontre est levée et qu'il est mis au bénéfice de l'assistance judiciaire dès le 21 août 2000. Le Tribunal cantonal renonce à se déterminer. Le Service cantonal et l'Office fédéral des étrangers proposent de rejeter le recours. 