Faits: Faits: A. A.a H._ a travaillé en qualité d'administrateur-représentant au sein de la société X._ Sàrl, dont sa femme R._ détenait la majorité des parts sociales et était associée-gérante avec signature individuelle. Cette société avait pour but la fourniture et la pose de mains courantes et de protections en tous genres. H._ a été licencié en raison de difficultés économiques pour le 31 mars 2001. La Caisse publique cantonale vaudoise de chômage lui a versé des indemnités de chômage pour le mois d'avril 2001. H._ s'est installé en Valais. Le 21 mai 2001, il s'est présenté à l'Office communal du travail de Sierre, indiquant qu'il était disposé et capable de travailler à plein temps et rechercher un emploi comme administrateur ou représentant de commerce. L'assuré a bénéficié d'indemnités de chômage de la part de la Caisse publique cantonale valaisanne de chômage du 1er mai au 30 septembre 2001. Le 3 octobre suivant, l'assuré a demandé à l'Office régional de placement de Sierre de l'inscrire au chômage à 30 % seulement. Par la suite, il a remis à la caisse une attestation de gain intermédiaire et un contrat de travail selon lequel il était engagé, depuis le 1er octobre 2001, en qualité d'administrateur-représentant à 70 % par l'entreprise Y._. Cette raison individuelle avait été inscrite au Registre du commerce le 30 avril 2001; R._ en était titulaire avec signature individuelle, tandis que son conjoint bénéficiait d'une procuration individuelle. Entendu par un collaborateur de la caisse le 19 novembre 2001, H._ a indiqué s'être occupé de la visite et de la prospection des clients pour la société X._ Sàrl, et avoir géré l'équipe de montage, alors que son épouse se chargeait de l'administration; l'activité de la société s'était poursuivie jusqu'au 30 juin 2001. Il a par ailleurs précisé que depuis le 1er janvier 2000, il avait mené seul la gestion de la société, déclarée en faillite le 16 octobre 2001. En ce qui concerne son activité au service de l'entreprise Y._, il a expliqué exercer un travail identique à son activité antérieure, tandis que sa femme ne travaillait pratiquement pas pour la nouvelle société; il souhaitait exercer son travail et trouver une autre activité compatible à 100 %. A.b Le 29 mai 2002, la Caisse publique cantonale valaisanne de chômage a rendu une décision par laquelle elle a constaté que H._ n'avait pas droit à l'indemnité de chômage à partir du 1er mai 2001. En bref, elle a considéré que le droit à l'indemnité ne pouvait lui être reconnu au motif qu'il était l'époux de l'associée-gérante de la société X._ Sàrl et avait été le seul administrateur de celle-ci depuis le 1er janvier 2000; il s'était par ailleurs occupé de la mise en place et de l'exploitation de Y._, dont il était, comme de la Sàrl, le «réel patron». Par une seconde décision du 3 juin 2002, la caisse a exigé la restitution de 32'076 fr. 30, correspondant aux indemnités versées à tort de mai à septembre 2001. L'assuré a déféré ces deux décisions à la Commission cantonale valaisanne de recours en matière de chômage. Statuant le 23 octobre 2003, la juridiction cantonale a partiellement admis les recours en ce sens qu'elle a annulé la décision de la caisse du 29 mai 2002 «pour ce qui concerne la période du mois de mai au mois de septembre 2001», et les a rejetés pour le surplus, en confirmant la décision de la caisse du 3 juin 2002. Par arrêt du 31 mai 2005 (C 38/04), le Tribunal fédéral des assurances a rejeté le recours que H._ avait interjeté contre le jugement du 23 octobre 2003. A.c Par décision du 23 septembre 2002, la Caisse publique cantonale vaudoise de chômage (la caisse de chômage) a exigé de H._ qu'il lui restitue la somme de 4'518 fr. 10, correspondant aux prestations de l'assurance-chômage perçues à tort pour le mois d'avril 2001. H._ a recouru contre cette décision devant le Service de l'emploi du canton de Vaud, première instance cantonale de recours en matière d'assurance-chômage (le service de l'emploi). Il a été débouté par décision du 3 avril 2003. H._ a recouru contre cette décision devant le Service de l'emploi du canton de Vaud, première instance cantonale de recours en matière d'assurance-chômage (le service de l'emploi). Il a été débouté par décision du 3 avril 2003. B. H._ a déféré cette décision au Tribunal administratif du canton de Vaud. Par jugement du 27 juillet 2004, la juridiction cantonale a admis le recours et annulé la décision du service de l'emploi du 3 avril 2003. C. Le Secrétariat d'Etat à l'économie interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant à ce que l'intimé soit condamné à rembourser la somme de 4'518 fr. 10. L'intimé conclut implicitement au rejet du recours. Tandis que le service de l'emploi en propose l'admission, la caisse de chômage s'en remet à justice. 