Faits: Faits: A. S._ a été mis au bénéfice d'une rente entière d'invalidité dès le 1er février 1992, en raison de lombalgies chroniques ayant provoqué une incapacité de travail à partir du mois de février 1991. Jusqu'alors, il travaillait au service de X._ SA, société fondée en 1987 et qui est active dans le domaine de l'installation de chauffages et de sanitaires. Il est par ailleurs actionnaire et administrateur de la société. Dès le 1er mai 1996, S._ a repris le travail à 50 pour cent au sein de la même entreprise. La rente entière dont il bénéficiait jusqu'alors a été réduite à une demi-rente à partir de la même date. Le frère du prénommé, A._, travaille également en tant que salarié, mais à plein temps, au service de la société. Il en est également administrateur et l'un des actionnaires. Le frère du prénommé, A._, travaille également en tant que salarié, mais à plein temps, au service de la société. Il en est également administrateur et l'un des actionnaires. B. Pour sa prévoyance professionnelle, S._ était affilié à la Fondation de la Métallurgie Vaudoise du Bâtiment (FMVB), qui lui a alloué des prestations d'invalidité à partir de 1992, sur la base d'une incapacité de gain de 100 pour cent, puis de 50 pour cent. Le 26 mars 2002, la FMVB a envoyé à S._ un calcul de surindemnisation à partir du 1er mars 2002. Elle a considéré que, sans son invalidité, l'affilié aurait réalisé, en 2002, un salaire annuel de 83'263 fr. 30. Ce montant représentait un salaire de 70'200 fr., valeur 1991, pour une activité à plein temps, indexé en fonction des taux prévus par la convention collective de travail de la branche du chauffage, de la climatisation et de la ventilation dans le canton de Vaud. L'institution de prévoyance a dès lors fixé la limite déterminante à 74'937 fr. (90 pour cent de 83'263 fr.). Quant à la somme des revenus à prendre en compte dans le calcul de la surindemnisation, soit les rentes de l'assurance-invalidité (rente pour épouse et rentes pour enfants), par 26'124 fr., et le revenu de l'activité lucrative de l'affilié, par 52'000 fr. (4'000 X 13), elle était supérieure à la limite de 74'937 fr. L'intéressé ne pouvait donc plus prétendre des prestations au titre de la prévoyance professionnelle. Quant à la somme des revenus à prendre en compte dans le calcul de la surindemnisation, soit les rentes de l'assurance-invalidité (rente pour épouse et rentes pour enfants), par 26'124 fr., et le revenu de l'activité lucrative de l'affilié, par 52'000 fr. (4'000 X 13), elle était supérieure à la limite de 74'937 fr. L'intéressé ne pouvait donc plus prétendre des prestations au titre de la prévoyance professionnelle. C. Par écriture du 29 avril 2002, S._ a ouvert action contre la FMVB en concluant au maintien de son droit à des prestations d'invalidité. La défenderesse a conclu au rejet de la demande. Statuant le 23 septembre 2003, le Tribunal des assurances du canton de Vaud a rejeté la demande. Statuant le 23 septembre 2003, le Tribunal des assurances du canton de Vaud a rejeté la demande. D. Contre ce jugement, S._ interjette un recours de droit administratif dans lequel il conclut à la réforme du jugement attaqué en ce sens qu'il a droit «à la poursuite du paiement des rentes LPP». La FMVB conclut au rejet du recours. L'Office fédéral des assurances sociales propose, également, de le rejeter. 