Faits: Faits: A. La société X._ Sàrl (ci-après : la société) a pour but la gestion, la direction et l'exécution de projets en tout genre, notamment dans le domaine immobilier, ainsi que les services techniques et commerciaux y relatifs. Au mois de février 1988, A._ et son épouse B._ ont acquis les parts de la société, dont ils sont devenus les associés gérants, chacun avec signature individuelle. A._ a été engagé en qualité de directeur, à plein temps et pour une durée indéterminée, à partir du 1er janvier 1990. Tout en conservant cette fonction, l'intéressé a cédé sa part (28'000 fr.) à H._ au mois de juillet 1997, lequel est devenu actionnaire majoritaire et gérant unique avec signature individuelle. Le solde des parts sociales (22'000 fr.) est resté en mains de B._. Son contrat de travail ayant été résilié pour le 30 avril 1998, A._ a requis l'octroi d'une indemnité de chômage. La société lui ayant toutefois demandé de rester à son service à mi-temps, l'assuré n'a finalement été licencié le 25 novembre 1998, que pour le 31 décembre suivant. Depuis cette date, il a bénéficié d'une indemnité pleine et entière jusqu'au 31 mars 1999, date à partir de laquelle il a demandé la suspension de son droit, afin d'effectuer des recherches de travail à l'étranger. Ce projet n'ayant pas abouti, l'assuré a derechef bénéficié d'une indemnité à partir du 15 juin 1999. Au mois d'août 1999, A._ a reçu une offre de travail de l'entreprise Y._, laquelle désirait confier le mandat de coordonner des permis de construire à une société tierce qui accepterait d'engager l'assuré. Au mois d'août 1999, A._ a été derechef inscrit au registre du commerce en qualité d'associé gérant de la société, avec signature individuelle, après avoir racheté à H._ la part qu'il lui avait précédemment cédée. La société a ensuite accepté le mandat proposé par l'entreprise Y._ et a repris l'assuré à son service dès le 1er octobre 1999 en qualité de directeur, à plein temps et pour une durée indéterminée. De son côté, son épouse a repris sa fonction d'associée gérante avec signature individuelle. A._ a été licencié le 28 février 2001. Il a requis l'octroi d'une indemnité de chômage à partir du 1er mars 2002. Par décision du 30 juillet 2002, la Caisse publique cantonale vaudoise de chômage (ci-après : la caisse) a dénié à l'assuré le droit à une indemnité de chômage dès le 1er mai 1998, motif pris qu'il n'avait jamais cessé d'exercer une fonction dirigeante dans la société. Par une autre décision du même jour, elle a réclamé à l'intéressé la restitution d'un montant de 52'947 fr. 15, somme correspondant aux indemnités de chômage indûment perçues durant les périodes du 1er mai 1998 au 31 mars 1999 et du 15 juin au 30 septembre 1999. Saisi d'un recours contre ces décisions, le Service de l'emploi du canton de Vaud (ci-après : le service de l'emploi) l'a rejeté par décision du 19 mai 2003. Saisi d'un recours contre ces décisions, le Service de l'emploi du canton de Vaud (ci-après : le service de l'emploi) l'a rejeté par décision du 19 mai 2003. B. Par écriture du 19 juin 2003, A._ a recouru contre cette décision devant le Tribunal administratif du canton de Vaud, en concluant à l'annulation de son obligation de restituer les prestations perçues et à l'octroi d'une indemnité de chômage à partir du 1er mars 2002. La juridiction cantonale a rejeté ce recours par jugement du 26 février 2004. La juridiction cantonale a rejeté ce recours par jugement du 26 février 2004. C. A._ interjette recours de droit administratif contre ce jugement, dont il demande la réforme partielle, en ce sens qu'il n'est pas tenu de restituer les indemnités de chômage perçues durant la période du mois de janvier au mois de septembre 1999. La caisse s'en remet à justice, tandis que le service de l'emploi déclare se référer à ses déterminations en instance cantonale. De son côté, le Secrétariat d'Etat à l'économie a renoncé à se déterminer sur le recours. 