A.- a) O._ a travaillé au service de la société M._ SA en qualité de représentant. Le 1er novembre 1990, il a cessé son activité et est parti s'installer en France pour y travailler comme indépendant. En mars 1991, il a été victime d'une hémiparésie droite avec déficit moteur du membre supérieur droit. Par décision du 1er février 1993, l'Office de l'assurance-invalidité du canton de Vaud(ci-après : l'office) lui a accordé une rente entière d'invalidité dès le 1er mars 1992. Lors d'une révision de sa rente, les médecins de la Policlinique médicale universitaire (PMU) ont diagnostiqué un état dépressif, une fibromyalgie et un status deux ans après une myélopathie cervicale aiguë. Ils ont considéré que l'assuré jouissait d'une pleine capacité de travail dans une activité n'exigeant pas de travaux lourds et pénibles (rapport du 19 juillet 1993). Du 1er mars au 30 décembre 1994, l'assuré a bénéficié d'une mesure de reclassement sous la forme de la prise en charge d'une formation de chauffeur de taxi professionnel mais a échoué à l'examen final. Avec l'accord de l'office de réadaptation et de son médecin traitant, le docteur B._, l'assuré a été engagé en qualité de concierge par la société R._ SA à partir du 1er janvier 1995. Le 14 août 1995, le docteur B._ a attesté une incapacité de travail de 80 % de son patient depuis le 1er mai 1995. L'intéressé a cessé toute activité le 30 novembre 1995. Dans un rapport du 12 avril 1996, les médecins de la PMU ont exposé que l'assuré souffrait d'un état dépressif majeur. Ils ont jugé nulle sa capacité de travail, même dans une activité légère. Par décision du 11 novembre 1996, l'office a alloué à l'assuré une rente entière d'invalidité depuis le 1er mai 1995. b) Le 16 novembre 1996, O._ s'est adressé à la Fondation collective LPP de la Rentenanstalt (ci-après : la fondation), à laquelle il avait été affilié quand il travaillait au service de la société R._ SA. Il sollicitait le versement d'une rente fondée sur une invalidité totale. La fondation a refusé d'allouer des prestations, au motif principal que l'assuré était totalement invalide lors de son entrée dans l'institution, de sorte qu'il n'aurait pas dû être admis au sein de celle-ci. B.- Le 10 février 1998, O._ a saisi le Tribunal des assurances du canton de Vaud, en concluant à son affiliation à la fondation et au versement dès le 1er mai 1995 d'une rente annuelle d'invalidité de 7428 fr. ou d'un montant fixé à dire de justice. Par jugement du 21 avril 1999, la Cour cantonale a rejeté la demande. Les premiers juges ont considéré en particulier que l'assuré avait été régulièrement affilié à la fondation. Ils ont toutefois retenu l'existence d'une connexité matérielle et temporelle entre l'incapacité de travail subie par l'assuré avant son affiliation à la fondation et l'invalidité survenue le 1er mai 1995. C.- O._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en reprenant, sous suite de dépens, les conclusions qu'il avait formulées en première instance. Il fait valoir qu'il a été valablement affilié à la fondation dès le 1er janvier 1995. Il nie qu'il y ait lieu d'admettre un rapport de connexité temporelle et matérielle entre l'incapacité de travail à l'origine de l'invalidité dont il a été victime en 1991 et son invalidité subséquente. La fondation conclut au rejet du recours. Elle soutient que le recourant était invalide à raison de deux tiers au moins lors de son engagement le 1er janvier 1995. Elle relève qu'il existe un lien de connexité matérielle et temporelle entre l'incapacité de travail dont il a été victime avant son engagement comme concierge et son invalidité. L'Office fédéral des assurances sociales propose également le rejet du recours. 