A.- X._, ressortissant d'Albanie né en 1972, a été interpellé à Brig le 21 mars 2000. Le 23 mars 2000, le Service cantonal valaisan de l'état civil et des étrangers (ci-après: le Service cantonal) a ordonné le refoulement immédiat à la frontière de X._ au motif qu'il était entré en Suisse sans visa et y avait séjourné illégalement. Par décision du même jour, le Service cantonal a ensuite ordonné la mise en détention immédiate en vue du refoulement de X._ pour trois mois au plus, en vertu de l'art. 13b al. 1 lettre c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20), des indices faisant craindre qu'il entende se soustraire au renvoi. En effet, démuni de moyens d'existence personnels et réguliers, l'intéressé était entré en Suisse sans papiers d'identité ni visa. Il avait en outre pénétré par effraction dans une cabane de montagne, où il avait volé des vêtements et des chaussures. Ce prononcé a été confirmé le lendemain par le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) au motif que les circonstances de l'arrivée de l'intéressé en Suisse dénotaient une habitude de la clandestinité qui suffisait à remplir les réquisits de l'art. 13b al. 1 lettre c LSEE. B.- Par lettre datée du 20 avril 2000, X._ a requis la levée de sa détention. Entendu le 28 avril 2000 par le Tribunal cantonal, l'intéressé a maintenu sa requête. C.- Par arrêt du 28 avril 2000, le Tribunal cantonal a refusé de libérer X._, considérant que la situation ne s'était pas sensiblement modifiée depuis la mise en détention. En outre, les autorités albanaises traitaient les demandes de laissez-passer avec plus de célérité quand l'identité des intéressés était certaine. D.- Agissant lui-même par lettre non datée, parvenue au Tribunal fédéral le 4 mai 2000 et rédigée en albanais, X._ conclut en substance à l'annulation de l'arrêt du Tribunal cantonal du 28 avril 2000 et à sa libération immédiate. Le Tribunal cantonal renonce à se déterminer. Le Service cantonal propose le rejet du recours. L'Office fédéral des étrangers n'a pas déposé d'observations. De son côté, l'intéressé ne s'est pas exprimé sur la réponse des autorités cantonales. 