A.- Par décision du 24 novembre 2000, l'Office fédéral des réfugiés n'est pas entré en matière sur la demande d'asile présentée par K._, ressortissant guinéen, a retiré l'effet suspensif à un éventuel recours et a invité le prénommé à quitter immédiatement la Suisse, sous peine de refoulement. Après avoir refusé de restituer l'effet suspensif selon décision incidente du 10 janvier 2000 (recte: 2001), la Commission suisse de recours en matière d'asile a, le 23 février 2001, déclaré irrecevable le recours dont elle avait été saisie. Entendu le 21 décembre 2000 par le Service de l'état civil et des étrangers du canton du Valais (ci-après: le Service cantonal), K._, dépourvu de toute pièce d'identité, a déclaré qu'il n'était pas disposé à rentrer dans son pays d'origine, mais qu'il essaierait de se procurer les documents de voyage nécessaires à son départ de Suisse. Le 21 décembre 2000, le Service cantonal a demandé à l'Office fédéral des réfugiés un soutien à l'exécution du renvoi de K._. Le 29 janvier 2001, K._ a indiqué à la Police cantonale valaisanne qu'il refusait de rentrer dans son pays d'origine et qu'il n'avait rien entrepris pour se procurer un document de voyage valable. Par décision du 29 janvier 2001, le Service cantonal a ordonné la mise en détention immédiate de l'intéressé en vue du refoulement pour une durée de trois mois. Lors de son audition du 30 janvier 2001, K._ a indiqué au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Juge unique) qu'il était d'accord de rentrer chez lui et de rencontrer un représentant de l'Ambassade de Guinée pour obtenir un laissez-passer. Il a précisé que sa famille se composait d'une seule soeur qui, en fait, n'était pas sa "soeur de sang", mais qu'il l'appelait ainsi parce qu'ils avaient vécu ensemble. Le Juge unique a, par arrêt du 30 janvier 2001, confirmé la décision du Service cantonal du 29 janvier 2001. Le 7 février 2001, K._ a été mis en contact téléphonique avec un représentant de l'Ambassade de Guinée à Paris. Ce dernier a indiqué que K._ était probablement ressortissant de Guinée, mais a refusé de délivrer un laissez-passer au motif que K._ avait refusé de collaborer. Le 16 février 2001, K._ a été réentendu par le Juge unique en présence de son avocat, lequel n'avait pas été dûment convoqué à l'audition du 30 janvier 2001. A cette occasion, il a déclaré qu'il n'avait vu sa soeur, avec laquelle il n'avait jamais fait ménage commun, qu'une seule fois. Par arrêt du 16 février 2001 (remplaçant celui du 30 janvier 2001 entaché d'une irrégularité), le Juge unique a confirmé la décision du Service cantonal du 29 janvier 2001. Cet arrêt n'a pas été attaqué. B.- Le 19 avril 2001, K._ a refusé d'avoir un nouvel entretien téléphonique avec un représentant de l'Ambassade de Guinée, à Paris. Le 19 avril 2001, le Service cantonal a décidé d'accorder l'assistance judiciaire totale à K._ et de désigner son mandataire comme avocat d'office et de proposer la prolongation de la détention en vue du refoulement pour une durée maximale de trois mois. Le 20 avril 2001, les empreintes digitales de l'intéressé ont été transmises aux autorités allemandes en vue de son identification. Le 26 (recte: 27) avril 2001, K._ a été entendu par Juge unique: il a déclaré qu'il n'avait entrepris aucune démarche en vue d'obtenir des papiers d'identité, tout en précisant qu'il était d'accord de rentrer chez lui. Par arrêt du 27 avril 2001, le Juge unique a prolongé jusqu'au 29 juillet 2001 la détention administrative de K._ et a rejeté l'assistance judiciaire. C.- Par acte de recours du 30 mai 2001 adressé au Tribunal fédéral, K._ conclut à l'annulation de l'arrêt précité du 27 avril 2001 et à sa mise en liberté immédiate. Le Service cantonal propose de rejeter le recours, tandis que le Juge unique a déposé ses observations sans prendre de conclusions expresses. Quant à l'Office fédéral des étrangers, il a renoncé à se déterminer. Selon une analyse linguistique effectuée le 30 mai 2001, il semblerait que K._ soit originaire de Guinée-Bissau et non de Guinée (Conakry). 