Faits: A. C._, né en 1944, a travaillé au service de Y._ jusqu'à ce qu'il soit licencié avec effet au 30 juin 1999. Par convention de prévoyance du 14 juin 1999, l'intéressé a été affilié à partir du 1er juillet 1999 à la Fondation de libre passage X._ (ci-après: la Fondation). Selon les termes de cette convention, C._ s'engageait à verser à la Fondation la somme de 725'522 fr., répartie pour moitié dans le Fonds d'investissement "OPP2" et pour l'autre moitié dans le Fonds d'investissement "Revenu Fixe". Le 21 juin 1999, le Fonds de Pensions Z._ a avisé C._ qu'il avait versé à la Fondation une prestation de libre passage de 725'522 fr., valeur au 30 juin 1999. Par lettre du 26 septembre 2007, C._ a demandé à la Fondation qu'elle transfère la moitié de son capital à la Fondation de libre passage de la banque V._. L'intéressé se référait à une lettre de l'Office fédéral des assurances sociales (OFAS) du 14 septembre 2006, selon laquelle il était possible d'avoir simultanément deux comptes de libre passage différents. Le 2 octobre 2007, la Fondation a informé C._ qu'elle ne pouvait donner suite à sa demande de transfert partiel. Elle se fondait à son tour sur une lettre de l'OFAS, du 30 juillet 2007. B. Le 30 janvier 2008, C._ a ouvert action contre la Fondation devant le Tribunal cantonal, Cour des assurances sociales, du canton de Vaud en concluant, sous suite de frais et dépens, au transfert de la moitié des avoirs de prévoyance déposés auprès de celle-ci à l'institution de prévoyance de son choix. Dans sa réponse du 11 mars 2008, la Fondation s'en est remise à justice et a conclu à la libération de tout paiement de frais et dépens. Par jugement du 3 février 2009, la juridiction cantonale a rejeté la demande. C. C._ interjette un recours en matière de droit public contre ce jugement dont il demande principalement la réforme, en ce sens qu'il soit ordonné à la Fondation de transférer la moitié de ses avoirs de prévoyance propres à l'institution de prévoyance de son choix. A titre subsidiaire, C._ conclut à l'annulation du jugement et au renvoi de la cause à la juridiction cantonale pour nouveau jugement dans le sens des considérants. La Fondation de libre passage X._ et l'Office fédéral des assurances sociales (OFAS) ont renoncé à se déterminer. 