Faits: Faits: A. A.a G._, né en 1953, travaillait depuis le 1er octobre 1996 comme centraliste au service de X._ SA. Le 28 septembre 2001, l'employeur a mis fin aux rapports de travail pour le même jour. Le salarié a perçu une part du treizième mois de salaire, ainsi qu'une « indemnité de départ » de 22'093 fr. 40. Cette indemnité représentait les salaires d'octobre, novembre et décembre 2001 (lettre de l'employeur du 22 octobre 2001). A partir du mois d'avril 2002, G._ a entrepris une activité indépendante en exploitant, avec son épouse, une boutique de couture-retouches-transformations à Lausanne. A.b Le 15 novembre 2004, il a présenté une demande d'indemnité de chômage à partir du 8 novembre 2004. Par décision du 13 décembre 2004, la Caisse cantonale vaudoise de chômage (ci-après : la caisse) a nié le droit à l'indemnité prétendue. Elle a considéré que durant le délai-cadre de cotisation du 8 novembre 2002 au 7 novembre 2004, l'intéressé avait exercé une activité indépendante, sans l'aide de l'assurance-chômage. Cette circonstance permettait de prolonger le délai-cadre ordinaire de cotisation de la durée de l'activité indépendante. Dans le cas présent, le délai-cadre prolongé s'étendait du 7 novembre 2004 au 8 novembre 2000. Or, durant cette période, l'assuré ne pouvait justifier que de dix mois et 21 jours d'activité soumise à cotisation, à savoir du 8 novembre 2000 au 28 septembre 2001 (activité auprès de la société X._ SA). L'assuré a formé opposition. La caisse l'a partiellement admise le 31 mai 2005 en retenant que l'assuré, eu égard au fait qu'il avait été rémunéré jusqu'à fin décembre 2001, avait exercé une activité soumise à cotisation jusqu'au 31 décembre 2001. En principe, il remplissait donc l'exigence d'une durée minimale de cotisation de douze mois pendant le délai-cadre prolongé. Cependant, la caisse a constaté que rien n'indiquait que l'activité indépendante de l'assuré avait pris fin. Il convenait donc d'inviter l'intéressé à produire une attestation de la caisse de compensation établissant qu'il n'avait plus le statut d'indépendant. A.c Le 9 juin 2005, G._ a transmis à la caisse une pièce par laquelle l'Agence communale d'assurances sociales de Lausanne attestait l'exercice à titre principal d'une activité indépendante du 1er avril 2002 au 31 décembre 2004. Le 22 septembre 2005, la caisse a rendu une nouvelle décision par laquelle elle a derechef nié le droit à l'indemnité de l'assuré. Elle a fixé le délai-cadre (prolongé) à la période allant du 5 janvier 2001 au 3 janvier 2005. Durant cette période, l'intéressé ne pouvait justifier que d'une durée de cotisation allant du 5 janvier 2001 au 31 décembre 2001, soit 11,887 mois. L'assuré a de nouveau formé opposition. Il a fait parvenir à la caisse une nouvelle attestation de l'Agence communale d'assurances sociales, du 18 novembre 2005, faisant état d'une activité indépendante du 1er avril 2002 au 8 novembre 2004 (et non plus 31 décembre 2004). Statuant le 21 décembre 2005, la caisse a rejeté l'opposition. Statuant le 21 décembre 2005, la caisse a rejeté l'opposition. B. Par arrêt du 24 août 2006, le Tribunal administratif du canton de Vaud a rejeté le recours formé contre cette décision par l'assuré, alors représenté par le Centre social protestant. B. Par arrêt du 24 août 2006, le Tribunal administratif du canton de Vaud a rejeté le recours formé contre cette décision par l'assuré, alors représenté par le Centre social protestant. C. G._ interjette un recours de droit administratif dans lequel il demande au tribunal de fixer le début de son délai-cadre d'indemnisation au 8 novembre 2004. Subsidiairement, il conclut au renvoi de la cause à la caisse afin qu'elle établisse un nouveau calcul tenant compte d'un travail qu'il a effectué auprès de Y._ SA en décembre 2004. La caisse s'en remet à justice. Quant au Secrétariat d'Etat à l'économie (seco), il ne s'est pas déterminé. 