Faits: Faits: A. E._, vigneron indépendant, était affilié depuis 1971 à la Fondation de prévoyance en faveur des vignerons (ci-après: la Fondation des vignerons), puis, dès le 1er janvier 2004, à la Fondation rurale de prévoyance professionnelle (ci-après: la Fondation rurale). Le 29 mai 2001, il a déposé une demande de prestations de l'assurance-invalidité, invoquant des problèmes lombaires. Son médecin traitant, le docteur I._, a attesté une «invalidité» de 50 %, probablement définitive, à partir du 1er mars 1999 (certificat du 17 juin 2002). Après avoir recueilli des renseignements économiques, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a évalué à 36 % le préjudice économique subi par l'assuré (rapport d'enquête économique pour les indépendants du 6 février 2002, complété le 4 octobre 2002). Compte tenu du fait que le préjudice économique de 36 % n'était pas suffisant pour ouvrir le droit à une rente, l'administration a rejeté la demande de prestations par décision du 14 octobre 2002. De son côté, le 26 mars 2003, la Fondation des vignerons a communiqué à E._ qu'elle lui verserait une rente d'invalidité de 3533 fr. par année, fondée sur une invalidité de 36 %, dès le 1er mars 2000. De son côté, le 26 mars 2003, la Fondation des vignerons a communiqué à E._ qu'elle lui verserait une rente d'invalidité de 3533 fr. par année, fondée sur une invalidité de 36 %, dès le 1er mars 2000. B. Par demande du 9 mars 2004, l'affilié a ouvert action contre la Fondation des vignerons et la Fondation rurale devant le Tribunal des assurances du canton de Vaud. Il concluait, d'une part, au versement d'une demi-rente d'invalidité par la Fondation des vignerons à partir du 1er mars 2000, avec intérêts de 5 % l'an dès le 1er janvier 2004 sur les montants dus depuis le 1er janvier 2003. D'autre part, il concluait à ce que la Fondation rurale lui alloue la même rente dès le 1er janvier 2004, avec intérêts à 5 % l'an dès cette date. En cours de procédure, il a retiré ses conclusions contre la Fondation rurale. Après avoir fait verser à la procédure le dossier AI de l'affilié et pris acte du retrait de la demande dirigée contre la Fondation rurale, le tribunal cantonal a rejeté la demande formée contre la Fondation des vignerons, par jugement du 20 mars 2006. Après avoir fait verser à la procédure le dossier AI de l'affilié et pris acte du retrait de la demande dirigée contre la Fondation rurale, le tribunal cantonal a rejeté la demande formée contre la Fondation des vignerons, par jugement du 20 mars 2006. C. E._ a interjeté un recours de droit administratif contre ce jugement. Il en demande la réforme en ce sens que la Fondation des vignerons soit condamnée, sous suite de frais et dépens, à lui verser une demi-rente d'invalidité dès le 1er mars 2000, avec intérêts à 5 % l'an à partir du 1er janvier 2004 sur toutes les rentes échues depuis plus de deux ans, déduction faite des montants déjà versés. La Fondation des vignerons a conclu au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 