A.- T._, né le 5 janvier 1957, a travaillé dès le 1er décembre 1987 en qualité de boucher au service de L._ Frères SA. Son employeur a résilié le contrat de travail pour le 30 avril 1995. Le 14 septembre 1995, T._ a présenté une demande de prestations de l'assurance-invalidité. D'après son médecin traitant, le docteur J._, généraliste, il présentait une incapacité totale de travail depuis avril 1995 dans la profession de boucher (rapport médical du 26 septembre 1995). Selon la doctoresse G._, spécialiste FMH en médecine interne-rhumatologie, le cas évoluait vers une sinistrose et un état de revendication important. Dans une activité adaptée à son état de santé, l'assuré devrait pouvoir faire valoir une capacité professionnelle de 75 %, alors qu'il présentait dans son activité de boucher une incapacité de travail de l'ordre de 50 % (rapport médical du 4 octobre 1995). Le docteur V._, spécialiste FMH en chirurgie orthopédique et médecin associé universitaire, a effectué pour le compte de la Winterthur-Assurances, assureur-maladie de T._, une expertise du 13 février 1996 et produit un rapport complémentaire du 30 août 1996. L'assuré a séjourné les 23, 25 et 26 septembre 1996 au Centre médical d'observation de l'assurance-invalidité (COMAI) situé à la Policlinique médicale universitaire de X._. Dans une expertise du 24 décembre 1996, le docteur M._, médecin-chef, a posé les diagnostics de lombosciatalgies gauches chroniques, spondylolisthésis L5-S1 de degré I et discopathie L5-S1, de coxarthrose gauche débutante, de régression et troubles somatoformes douloureux et de personnalité dépendante à traits caractériels. Il proposait un emploi dans une boucherie, peut-être une grande surface, où l'intéressé puisse être dispensé des travaux les plus pénibles et orienté davantage vers la vente. Dans cet emploi, comme dans d'autres activités ne sollicitant pas fortement le dos, sa capacité de travail était entière. Dans un projet de décision du 18 juin 1998, l'Office de l'assurance-invalidité pour le canton de Vaud a avisé T._ que sa demande devait être rejetée, son invalidité étant de 17 %, compte tenu du revenu brut de 47 125 fr. par année qu'il pourrait réaliser comme vendeur dans la boucherie d'un supermarché et du salaire annuel de 57 096 fr. qui serait le sien s'il avait continué de travailler pour son ancien employeur. Le docteur J._, par lettre du 24 juin 1998, a contesté que l'assuré fût compétent dans l'activité de vendeur dans une boucherie. Par décision du 12 octobre 1998, l'office AI a rejeté la demande. B.- Par jugement du 11 mai 2000, le Tribunal des assurances du canton de Vaud a rejeté le recours. C.- T._ interjette recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à la réforme de celui-ci et de la décision administrative litigieuse en ce sens qu'il a droit à une rente entière d'invalidité. A titre subsidiaire, il demande que le jugement attaqué soit annulé et la cause renvoyée à la juridiction cantonale pour nouvel examen au sens des considérants. L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours. 