Faits: A. A.a. E._ a travaillé du 1er juin 1992 au 30 septembre 1995 pour le compte de X._ SA. Pour la prévoyance professionnelle, il était affilié auprès de la Fondation Y._ (ci-après Fondation Y._). A partir du 1er novembre 1996, il a travaillé pour W._ SA. Cette société était affiliée pour la prévoyance professionnelle à la Fondation de la Vaudoise (aujourd'hui Fondation collective LPP Swiss Life). A.b. A compter du mois d'octobre 1993, E._ a présenté plusieurs périodes d'incapacité de travail et bénéficié de rentes de l'assurance-invalidité: rente entière du 1er octobre au 31 décembre 1994, demi-rente dès le 1er janvier 1995 jusqu'au 31 mai 1998, quart de rente dès le 1er juin 1998 jusqu'au 30 juin 1999. Au mois de novembre 2001 E._ a de nouveau réduit son taux d'occupation en raison de problèmes de santé et a définitivement cessé de travailler au mois de novembre 2005. Suite à ces incapacités de travail, il a été mis au bénéfice d'une demi-rente d'invalidité dès le 1er novembre 2001 et d'une rente entière d'invalidité dès le 1er novembre 2005. A.c. E._ a en outre bénéficié d'une rente d'invalidité de la Fondation Y._ de 50 % du 18 décembre 1996 au 31 mai 1998, de 43 % du 1er juin 1998 au 31 mai 1999, de 28 % du 1er juin 1999 au 31 octobre 2001, de 58 % du 1er novembre 2001 au 31 octobre 2005 et de 100 % à compter du 1er novembre 2005. A.d. Le 25 mars 2011 E._ a ouvert action auprès de la Cour des assurances sociales du Tribunal cantonal vaudois contre la Fondation collective LPP Swiss Life, en demandant qu'elle lui verse une rente LPP obligatoire et surobligatoire dès le 1er novembre 2001, plus intérêts. Au cours de la procédure, il a modifié ses conclusions, en ce sens que les prestations prévues par le règlement de prévoyance lui soient reconnues à partir du 16 octobre 2002. B. Par jugement du 17 décembre 2013, le Tribunal cantonal a rejeté la demande formée par E._ pour le motif qu'il incombait à la Fondation Y._ de verser la rente d'invalidité de la prévoyance professionnelle. C. E._ interjette un recours en matière de droit public contre le jugement cantonal, en concluant à l'octroi d'une rente LPP obligatoire et surobligatoire dès le 16 octobre 2002, plus intérêts, sous suite de frais et dépens, à charge de la Fondation collective LPP Swiss Life. 