Faits: Faits: A. V._ a travaillé au service de la société E._ jusqu'au 30 avril 2003, date à laquelle il a été licencié. Il a bénéficié d'une indemnité de chômage durant la période du 18 juin 2003 au 1er mai 2004. Par décision du 1er novembre 2004, la Caisse de chômage de la Chambre vaudoise du commerce et de l'industrie (ci-après: la caisse) a nié le droit de l'assuré à l'indemnité de chômage à partir du 18 juin 2003, motif pris qu'il était resté en mesure, après cette date, d'influencer considérablement les décisions de l'employeur en sa qualité de détenteur de la signature individuelle pour la société E._, succursale de P._. Par une autre décision du même jour, la caisse a réclamé à l'intéressé un montant de 60'383 fr. 55 représentant les indemnités de chômage indûment perçues durant la période du 18 juin 2003 au 1er mai 2004. Ces deux décisions n'ayant pas fait l'objet d'une opposition en temps utile, la caisse a engagé une procédure de poursuite. Un commandement de payer a été notifié le 25 février 2005 à l'épouse de l'intéressé, laquelle n'a pas déclaré faire opposition à la poursuite. A l'annonce de la saisie dont il devait faire l'objet le 11 avril 2005, l'assuré a demandé à la caisse d'interrompre la poursuite en faisant valoir qu'il n'avait pas eu connaissance des décisions du 1er novembre 2004 ni du commandement de payer (lettre du 6 avril 2005). Par fax adressé à la caisse le 8 avril 2005, V._ a contesté le bien-fondé des décisions du 1er novembre 2004, en indiquant par ailleurs que son épouse n'avait pas été en mesure de faire opposition au commandement de payer ni de l'en informer en raison d'une grave maladie qui avait nécessité par la suite une hospitalisation en urgence. Invité par la caisse à lui confirmer que l'écriture du 8 avril 2005 constituait une « opposition (hors délai) » aux décisions du 1er novembre 2004, l'assuré a répondu le 26 avril 2005 que tel était bien le cas. Par décision du 12 octobre 2005, la caisse a rejeté l'opposition au motif, d'une part, qu'elle n'était pas fondée sur des pièces concrètes susceptibles de justifier les faits allégués et, d'autre part, qu'elle était tardive. Par décision du 12 octobre 2005, la caisse a rejeté l'opposition au motif, d'une part, qu'elle n'était pas fondée sur des pièces concrètes susceptibles de justifier les faits allégués et, d'autre part, qu'elle était tardive. B. Saisi d'un recours contre cette décision, le Tribunal administratif du canton de Vaud l'a rejeté par jugement du 27 juin 2006. B. Saisi d'un recours contre cette décision, le Tribunal administratif du canton de Vaud l'a rejeté par jugement du 27 juin 2006. C. V._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant, sous suite de frais et dépens, à la suppression de l'obligation de restituer les indemnités de chômage perçues durant la période du 18 juin 2003 au 1er mai 2004, subsidiairement au renvoi de la cause à la caisse intimée pour nouvelle décision sur le fond. Plus subsidiairement encore, il requiert le renvoi de la cause à la caisse pour nouvelle instruction en ce qui concerne les justes motifs à la restitution du délai pour former opposition à la décision du 1er novembre 2004, et nouvelle décision sur le fond. La Caisse d'assurance-chômage de la Société des jeunes commerçants - qui a repris l'ensemble des dossiers de la Caisse de chômage de la Chambre vaudoise du commerce et de l'industrie à la suite de sa fermeture définitive - s'en remet à justice. De son côté, le Secrétariat d'Etat à l'économie (seco) a renoncé à présenter des déterminations. 