A.- L._, né en 1937, est titulaire d'un certificat fédéral de capacité d'horloger. Après avoir exercé cette profession pendant quelques années, il a changé d'emploi à plusieurs reprises. De septembre 1990 à septembre 1995, il a travaillé, en qualité d'indépendant, au sein d'une entreprise de charpente appartenant à son frère et à ses neveux, pour un revenu de 30 000 fr. par année. Il a cessé d'exercer cette activité lucrative en octobre 1995 et dépend depuis lors des prestations des services sociaux de sa commune de domicile. Le 13 janvier 1998, le prénommé a déposé une demande de prestations de l'assurance-invalidité, faisant valoir qu'il souffrait de diverses atteintes à la santé. Dans des rapports des 18 mars 1998 et 26 avril 1999, son médecin traitant, le docteur P._, a attesté d'une incapacité de travail de 50 % depuis le mois de janvier 1996. Mandaté à titre d'expert par l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI), le docteur V._, spécialiste des maladies respiratoires et en médecine interne, a également fait état d'une incapacité de travail de 50 %. Il a posé le diagnostic d'asthme bronchique, de diabète sucré de type II, d'hypertrophie de la prostate et d'état anxio-dépressif modéré (expertise du 14 avril 2000). Dans un rapport complémentaire daté du 21 septembre 2000, il a précisé que sur le plan strictement respiratoire, la capacité de travail de l'assuré était entière, ses fonctions pulmonaires n'étant que légèrement diminuées. Entre-temps, par décision du 8 août 2000, l'office AI a rejeté la demande de prestations de L._. B.- Le 3 avril 2001, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré contre cette décision. C.- L._ interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. Il conclut principalement à l'octroi d'une demi-rente d'invalidité, et subsidiairement au renvoi de la cause à l'intimé pour instruction complémentaire et nouvelle décision. L'office AI conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé. 