Faits: Faits: A. F._ a bénéficié des indemnités de l'assurance-chômage du 7 juillet 1999 au 30 mai 2001. Durant cette période, il a suivi un programme d'emploi temporaire à plein temps auprès de la Coopérative T._ (soit du 1er août 2000 au 31 janvier 2001). En parallèle, l'assuré a travaillé en qualité d'employé d'entretien pour l'entreprise X._, à raison de 15 heures par semaine, du 9 octobre 2000 jusqu'en mai 2001. Il n'a pas déclaré le revenu de cette activité comme gain intermédiaire. Le 1er juin 2004, F._ s'est à nouveau annoncé comme demandeur d'emploi auprès de l'Office régional de placement de la Riviera (ORP). Il a fourni une copie de son dernier contrat de travail avec l'entreprise X._ lequel mentionnait «date d'engagement fixe: 01.01.2003 (ancienneté 09.10.2000). Le 29 juin 2004, la Caisse de chômage SIB (la caisse) a invité cette société à remplir les formulaires d'«attestation de gain intermédiaire» de l'employé pour la période d'octobre 2000 à mai 2001. Elle lui a également demandé des explications sur l'activité déployée par l'assuré à son service. L'entreprise X._ a donné suite à cette requête le 5 juillet 2004. Le 20 juillet 2004, F._ a expliqué à la caisse qu'il avait saisi l'opportunité de faire «quelques extras» pour compenser le «20 % de perte de gain subi» par rapport à son ancien salaire. Par décision du 11 août 2004, confirmée sur opposition le 30 septembre 2004, la caisse a réclamé à l'assuré le remboursement du montant de 6'301 fr. 85 correspondant aux prestations indues pour la période d'octobre 2000 à mai 2001, tout en réservant l'examen ultérieur d'une remise éventuelle. Par décision du 11 août 2004, confirmée sur opposition le 30 septembre 2004, la caisse a réclamé à l'assuré le remboursement du montant de 6'301 fr. 85 correspondant aux prestations indues pour la période d'octobre 2000 à mai 2001, tout en réservant l'examen ultérieur d'une remise éventuelle. B. F._ a déféré la décision sur opposition de la caisse au Tribunal administratif du canton de Vaud, qui a rejeté son recours par jugement du 21 avril 2006. B. F._ a déféré la décision sur opposition de la caisse au Tribunal administratif du canton de Vaud, qui a rejeté son recours par jugement du 21 avril 2006. C. F._ interjette un recours de contre ce jugement dont il requiert l'annulation en concluant à ce qu'il soit libéré de l'obligation de restituer le montant réclamé par la caisse. A titre subsidiaire, il demande à ce qu'il soit tenu de rembourser «un montant calculé uniquement sur la part des gains perçus, en rapport avec son activité de nettoyage, dépassant le montant admissible pour un gain accessoire». La caisse déclare renoncer à se prononcer sur le recours, tandis que le Secrétariat d'Etat à l'économie a renoncé à se déterminer. 