A.- Par jugement du 2 septembre 1997, le Tribunal de district de X._ a prononcé le divorce des époux A._ et C._. Saisi d'une demande en modification de ce jugement, le président du même tribunal, ratifiant une convention passée entre les parties, a pris acte de l'engagement de A._ de verser à son ex-épouse une pension, non indexée, de 6900 fr. par mois, exigible d'octobre 1997 à janvier 2006 inclus (prononcé du 2 décembre 1997). B.- A._ s'est remarié le 10 décembre 1998 avec B._. Dès le 1er janvier 1999, tous deux ont été affiliés à la Caisse cantonale vaudoise de compensation comme personnes sans activité lucrative. Le 22 mars 1999, la caisse de compensation a rendu deux décisions provisoires par lesquelles elle a fixé le montant des cotisations à leur charge à partir du 1er janvier 1999. Pour chacun des époux, les cotisations ont été calculées sur la base d'une fortune de 747 000 fr. et d'un revenu sous forme de rente de 83 082 fr., multiplié par 20. Il en résultait une fortune déterminante de 2 408 000 fr. La cotisation annuelle s'élevait à 5538 fr. 60 (frais d'administration compris) par époux. La caisse précisait que la pension versée par A._ à son ex-épouse n'était pas déductible du revenu et que, par ailleurs, le calcul des cotisations serait revu dès réception de nouvelles communications fiscales. C.- A._, agissant pour lui-même et au nom de son épouse, a recouru contre ces décisions. Par jugement du 18 mai 2000, le Tribunal des assurances du canton de Vaud a rejeté le recours. D.- A._ et B._ interjettent un recours de droit administratif dans lequel ils concluent, sous suite de frais et dépens, à la réforme du jugement attaqué en ce sens que la pension versée en faveur de Maria Daengeli soit déductible du revenu soumis à cotisations et qu'en conséquence la fortune déterminante pour le calcul de celles-ci soit fixée à 1 580 000 fr. La caisse de compensation conclut au rejet du recours, ce que propose également l'Office fédéral des assurances sociales. 