A.- Par décision du 6 octobre 1997, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office) a rejeté la demande de prestations, tendant notamment à l'octroi d'une rente, présentée le 10 octobre 1996 par S._. Cette décision a été confirmée, dans un jugement du 12 août 1998, par le Tribunal des assurances du canton de Vaud. Il a considéré, en substance, que les rachialgies chroniques, pour lesquelles une composante psychologique avec des éléments de simulation avait été mise en évidence, ainsi que l'état anxio-dépressif dont souffrait l'assuré, n'avaient pas une influence telle sur sa capacité de gain dans sa profession d'ouvrier agricole qu'elle fût réduite de 40% au moins. Cette appréciation se fondait notamment sur les conclusions d'un rapport du 4 septembre 1996, émanant de l'établissement thermal de X._, dans lequel les docteurs A._ et B._ exprimaient l'avis que les troubles lombaires dont souffre l'assuré n'étaient pas de nature à entraver sa capacité de travail. Par décision du 10 mai 1999, contre laquelle l'assuré n'a pas recouru, l'office a refusé d'entrer en matière sur une nouvelle demande de prestations présentée le 19 janvier 1999 par ce dernier, au motif qu'il n'avait pas rendu plausible que son invalidité s'était modifiée de manière à influencer ses droits. Le 26 avril 1999, S._ a derechef présenté une nouvelle demande de prestations, accompagnée de diverses pièces médicales nouvelles. Le 30 mars 2000, considérant que la situation était inchangée par rapport à celle qui prévalait lors du refus initial de la rente, l'office l'a rejetée. B.- Par jugement du 10 novembre 2000, le Tribunal des assurances du canton de Vaud a rejeté le recours interjeté par S._ contre cette dernière décision. Il a retenu, en bref, que c'était à bon droit que l'office n'était pas entré en matière sur la nouvelle demande dès lors que l'assuré n'avait produit à l'appui de cette dernière aucun élément convaincant permettant de supposer que son état de santé s'était aggravé depuis la date de la première décision. C.- S._ interjette recours de droit administratif contre ce jugement. Il conclut, avec suite de dépens, principalement à l'octroi d'une rente entière et, subsidiairement, au renvoi de la cause à l'autorité cantonale de recours. L'office a conclu au rejet du recours; l'Office fédéral des assurances sociales ne s'est pas déterminé. 