Faits: Faits: A. Par jugement du 28 juin 1977, le Tribunal civil du district de Moudon a notamment prononcé le divorce de X._, né le 23 février 1947, et de Y._, née le 13 mars 1950, et astreint le mari à verser à sa femme une rente mensuelle indexée de 400 fr., en application de l'art. 151 al. 1 aCC. Le 23 avril 1993, le Président du Tribunal civil du district de Moudon a rejeté une action en modification du jugement de divorce intentée par X._. Le 23 avril 1993, le Président du Tribunal civil du district de Moudon a rejeté une action en modification du jugement de divorce intentée par X._. B. Le 30 juillet 2002, X._ a ouvert une nouvelle action en modification du jugement de divorce, concluant principalement à la suppression de la rente mensuelle de 400 fr. avec effet au 1er juillet 2002, et subsidiairement à la suppression de l'indexation de ladite rente et à sa réduction à dire de justice. B.a A l'époque du divorce, en 1977, le demandeur travaillait comme manoeuvre pour un salaire mensuel brut de 1'860 fr.; en 1975 et 1976, il réalisait un salaire mensuel brut de 2'212 fr. en qualité de vendeur. Pendant les années qui ont suivi le divorce, le demandeur s'est trouvé dans une situation financière difficile et a accumulé un retard important dans le versement des pensions alimentaires dues à sa famille. La pension indexée qu'il doit à son ex-épouse s'élève actuellement à 747 fr. 65, mais il ne paie qu'un montant mensuel de 347 fr. 65 au Bureau de recouvrement des pensions alimentaires (ci-après: BRAPA). Il s'est remarié en 1995 avec Z._ qui travaille à 100% pour un salaire mensuel net de 3'005 fr. 20. Au mois de décembre 2001, il touchait un salaire mensuel net de 4'357 fr. 55. Dès le 1er mars 2002, il a été mis à la retraite anticipée et touchera, jusqu'à l'âge de 60 ans, un revenu mensuel net de 3'069 fr. 75, correspondant à un salaire mensuel brut de 3'900 fr. 20. De 60 à 65 ans, il percevra 3'697 fr. 30 par mois. Dès 65 ans, il touchera sa retraite LPP ainsi que LAVS. Les charges du couple s'élèvent à 4'616 fr. 25, comprenant 1'035 fr. de loyer, 1'087 fr. 65 d'impôts, 690 fr. 60 de primes d'assurance maladie, 253 fr. de frais de transport et 1'550 fr. de minimum vital. A l'époque du divorce, la défenderesse, sans formation professionnelle, n'exerçait aucune activité lucrative et se consacrait à l'éducation des enfants, alors âgés de 4 ans et demi et d'un peu moins de 3 ans. Actuellement, elle tient une brocante qui lui rapporte un peu plus de 800 fr. par mois. Son loyer lui coûte 800 fr.; elle paie 50 fr. par mois pour son assurance-maladie et son minimum vital s'élève à 1'100 fr. Elle vit très simplement, se chauffe au bois et récupère des habits de seconde main. Elle a un ami qui lui paie de temps à autre un repas ou une sortie et lui donne un coup de main pour charger sa camionnette. Ils ont vécu ensemble pendant deux ans, mais ne font plus ménage commun. B.b Par jugement du 3 avril 2003, le Président du Tribunal civil de l'arrondissement de La Côte a rejeté l'action en modification du jugement de divorce du demandeur. Statuant le 24 février 2004 sur recours de X._, qui a conclu principalement à ce que la rente mensuelle de 400 fr. due à son ex-épouse soit réduite à 200 fr. dès le 1er juillet 2002 et que son indexation soit supprimée, la Chambre des recours du Tribunal cantonal vaudois a confirmé le jugement précité. Statuant le 24 février 2004 sur recours de X._, qui a conclu principalement à ce que la rente mensuelle de 400 fr. due à son ex-épouse soit réduite à 200 fr. dès le 1er juillet 2002 et que son indexation soit supprimée, la Chambre des recours du Tribunal cantonal vaudois a confirmé le jugement précité. C. X._ interjette un recours en réforme au Tribunal fédéral. Invoquant une violation des art. 151 et 153 aCC, il conclut à la réforme de l'arrêt cantonal en ce sens que la rente mensuelle qu'il doit verser à Y._ soit réduite à un montant mensuel de 200 fr. à partir du 1er juillet 2002 et que l'indexation de la rente soit supprimée dès le 1er juillet 2002. La défenderesse n'a pas été invitée à se déterminer. 