A.- Le Fonds de prévoyance en faveur du personnel de H._ SA (ci-après : le Fonds) a été constitué en 1963 par H._ SA (à l'époque Maison H._ SA, ci-après : H.) dans le but d'assurer son personnel contre les conséquences économiques de la vieillesse, de l'invalidité et du décès. Un contrat d'assurance-vie collective a été conclu la même année avec la compagnie d'assurance sur la vie VITA. Ce contrat fut remplacé le 7 août 1979 par une nouvelle police d'assurance conclue entre le Fonds d'une part, la VITA et la Suisse, Société d'assurance sur la vie, d'autre part. En 1983, la VITA a constitué une fondation collective indépendante, dénommée la Fondation commune LPP de VITA, Compagnie d'assurance sur la vie à Zurich (ci-après : la Fondation commune). Par convention des 19 décembre 1984 et 15 mai 1985 passée entre le Fonds et la Fondation commune, cette dernière, en tant que nouveau preneur d'assurance, a repris tous les droits et obligations découlant du contrat d'assurance-vie collective conclu en 1979. H. a adhéré avec sa caisse de prévoyance à la Fondation commune. Un nouveau contrat d'assurance-vie collective, annulant et remplaçant les dispositions antérieures a été conclu les 19 décembre 1984 et 15/22 mai 1985 entre H. et la Fondation commune pour l'assurance du personnel. Aux termes de ce contrat, l'employeur s'affiliait à la Fondation commune qui était chargée de conclure l'assurance du personnel, "au sens défini par la LPP". Le 25 juin 1991, H. a communiqué à la VITA qu'elle résiliait avec effet au 31 décembre 1991 les contrats d'assurance-vie collective qui avaient été conclus avec la Fondation commune pour H._ SA, M._ SA et A._ SA. Après des discussions demeurées sans résultat, la VITA a pris acte de la résiliation le 11 décembre 1991. Le 27 mai 1992, elle a adressé son décompte final à la Caisse de prévoyance en faveur du personnel de H._ SA. Il en ressort pour l'essentiel le versement déjà effectué d'un acompte de 9 850 000 fr. et l'annonce du versement d'un solde de 1 112 359 fr. 35; était déduite, à titre de frais résultant de la résiliation, la somme de 886 719 fr. B.- Par demande du 4 mars 1994, H. et le Fonds ont ouvert action contre la VITA devant la Cour civile du Tribunal cantonal vaudois. Le juge instructeur de la Cour civile a décliné sa compétence par prononcé du 12 juillet 1994 et ordonné la transmission du dossier au Tribunal cantonal des assurances. A la suite d'un échange d'écriture entre les mandataires des parties au sujet de la qualité pour agir, le juge instructeur du tribunal des assurances a procédé à la substitution des parties par décision incidente du 17 janvier 1996, la Fondation collective LPP de la Zurich-Vie (qui a succédé à la Fondation commune LPP, devenue entre-temps Fondation collective LPP de la VITA) étant substituée à la VITA. C.- Le 6 février 1996, H. et la Fondation de prévoyance en faveur du personnel du groupe H._ SA ont déposé une demande adressée au Tribunal des assurances du canton de Vaud à l'encontre de la Fondation collective LPP de la Zurich-Vie. Sous suite de dépens, ils concluaient principalement à ce que la Fondation collective LPP leur verse solidairement le montant de 886 719 fr. avec intérêt à 5 % l'an dès le 1er janvier 1992; subsidiairement, à ce qu'elle leur verse solidairement ou alternativement à la seule Fondation de prévoyance, le montant de 886 719 fr., sans intérêts. Pour sa part, la Fondation collective LPP de la Zurich-Vie concluait, sous suite de dépens, au rejet de la demande. Après un double échange d'écritures, la juridiction cantonale a rejeté la demande et alloué, à charge des demanderesses, 5000 fr. de dépens à la défenderesse, par jugement du 17 décembre 1998 notifié le 3 février 2000. D.- H. et la Fondation de prévoyance en faveur du groupe H._ SA interjettent recours de droit administratif contre ce jugement, dont elles requièrent l'annulation. Sous suite de dépens, elles concluent principalement à ce que la Fondation commune leur paie solidairement ou à H. seule le montant de 886 719 fr., subsidiairement, le montant de 299 427 fr. 25, et plus subsidiairement encore, le montant de 219 603 fr., le tout avec intérêt à 5 % l'an dès le 1er janvier 1992. La Fondation commune, actuellement Fondation collective LPP de la Zurich-Vie, conclut au rejet du recours avec suite de frais et dépens. De son côté, l'Office fédéral des assurances sociales (OFAS) propose le rejet du recours. 