A.- A._ est au bénéfice, depuis le 1er décembre 1997, d'une pension d'invalidité de la Caisse de pensions X._ qui s'élevait en 1998 à 86 099 fr. par an. Il a demandé son affiliation comme indépendant à la Caisse cantonale vaudoise de compensation dès le 1er janvier 1998. Il n'a cependant réalisé aucun revenu à ce titre en 1998. Par décision du 29 septembre 2000, la caisse de compensation a fixé, à titre définitif, les cotisations AVS/AI/APG dues par le prénommé comme personne sans activité lucrative pour l'année 1998 et, à titre provisoire, les mêmes cotisations pour la période du 1er janvier 1999 au 30 septembre 2000. Les cotisations étaient calculées sur la base d'une fortune nette de 104 280 fr. et d'un revenu sous forme de rente de 86 099 fr. 20, multiplié par 20. Il en résultait une fortune déterminante arrondie de 1 826 000 fr. La décision précisait que les cotisations étaient fixées provisoirement dès le 1er janvier 1999, dans l'attente d'une communication fiscale pour la période 2001/2002. Par une nouvelle décision, du 19 janvier 2001, la caisse a fixé, à titre provisoire, les cotisations dues par l'assuré à partir du 1er janvier 2001. Cette décision se fondait sur les mêmes bases de calcul que la décision précédente. B.- Par jugement du 27 avril 2001, le Tribunal des assurances du canton de Vaud a rejeté les recours formés contre ces décisions par l'assuré. C.- A._ interjette un recours de droit administratif en concluant, avec dépens, à la réforme du jugement cantonal en ce sens que : "I. Sont portés en déduction du revenu acquis sous forme de rente par fr. 86'099.- les intérêts passifs par fr. 29'967.- et les frais d'immeuble par fr. 11'788.-, pour aboutir ainsi à un revenu déterminant de fr. 44'344.- soit une fortune fictive, après multiplication par 20, de fr. 886'880.- en lieu et place de la fortune retenue de fr. 1'826'000.-. II. A cette fortune fictive est ajouté le montant de la fortune effective au 1er janvier 1997, soit fr. 30'349.-, subsidiairement un montant égal à la moyenne entre fr. 30'349.- au 1er janvier 1997 et fr. 104'280.- au 1er janvier 1999, soit fr. 67'314.-." La caisse de compensation conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet. 