Faits: Faits: A. L._, né en 1939, a travaillé en qualité de maçon à partir du 1er janvier 1988 au service de l'entreprise E._ SA. A ce titre, il était affilié à la Caisse de pension du bâtiment et génie civil (la caisse de pension). Le 28 novembre 1994, l'employeur a résilié les rapports de service pour le 31 décembre 1994; le travail effectif a pris fin le 21 décembre 1994. Dès le 1er janvier 1995, L._ a bénéficié d'indemnités de l'assurance-chômage. Le prénommé a été victime d'un infarctus le 27 mars 1995; à la suite de cet événement, il a présenté jusqu'au 11 février 1996 une incapacité de travail totale, puis à 50 %. Depuis le 1er mars 1996, il perçoit une rente entière de l'assurance-invalidité. Par écriture du 17 décembre 1996, E._ SA a informé la caisse de pension que L._ avait cessé de travailler à son service le 21 décembre 1994. Par lettre du 9 juillet 1997, la caisse de pension a signifié à L._ qu'elle lui refusait toute prestation d'invalidité en raison de l'incapacité de gain présentée à la suite du 27 mars 1995; aucune prolongation de la couverture d'assurance n'ayant été conclue et confirmée à la suite de la résiliation du contrat de travail, l'incapacité était survenue alors qu'il n'était plus assuré. La caisse de pension a confirmé son point de vue, par écritures des 6 octobre 1997 et 17 février 1998. Par écriture du 17 décembre 1996, E._ SA a informé la caisse de pension que L._ avait cessé de travailler à son service le 21 décembre 1994. Par lettre du 9 juillet 1997, la caisse de pension a signifié à L._ qu'elle lui refusait toute prestation d'invalidité en raison de l'incapacité de gain présentée à la suite du 27 mars 1995; aucune prolongation de la couverture d'assurance n'ayant été conclue et confirmée à la suite de la résiliation du contrat de travail, l'incapacité était survenue alors qu'il n'était plus assuré. La caisse de pension a confirmé son point de vue, par écritures des 6 octobre 1997 et 17 février 1998. B. Le 16 juillet 2002, L._ a assigné la caisse de pension devant le Tribunal des assurances du canton du Valais en paiement d'une somme de 123'834 fr., correspondant au dommage qu'il subissait du fait de la perte des rentes qu'il aurait dû percevoir s'il avait été assuré. Par jugement du 17 septembre 2003, la juridiction cantonale a rejeté la demande. Par jugement du 17 septembre 2003, la juridiction cantonale a rejeté la demande. C. L._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens, en concluant à ce que la caisse de pension soit condamnée à lui payer un montant de 117'120 fr. 90, avec intérêts à 5 % l'an dès le 1er janvier 2000. L'intimée conclut au rejet du recours, avec suite de dépens. L'Office fédéral des assurances sociales propose également de rejeter le recours. 