Faits: A. Dans les poursuites n° xxxx et yyyy de l'Office des poursuites et faillites du district de Martigny, introduites par Y._, X._ a formé opposition en excipant de son défaut de retour à meilleure fortune. Par décision du 17 novembre 2003, le juge suppléant des districts de Martigny et St-Maurice a déclaré l'opposition irrecevable et constaté que le poursuivi est revenu à meilleure fortune à concurrence de 9'662 fr.35 (i.e. 5'605 fr.90 pour la poursuite n° xxxx et 4'056 fr.45 pour la poursuite n° yyyy). B. Le 9 décembre 2003, X._ a ouvert action en constatation de non-retour à meilleure fortune; l'affaire ayant été attribuée au juge suppléant, il a demandé la récusation de celui-ci le 11 décembre 2003, en faisant valoir qu'il avait «déjà rendu une décision dans cette affaire». Le 16 décembre suivant, le magistrat mis en cause a informé le prénommé qu'il refusait de se récuser et a transmis sa requête au Président du Tribunal cantonal valaisan. Par décision du 3 mars 2004, ce dernier a rejeté la demande de récusation. C. X._ exerce un recours de droit public au Tribunal fédéral contre cette décision, concluant à son annulation; il requiert, en outre, le bénéfice de l'assistance judiciaire pour la procédure fédérale. Le juge intimé ainsi que le Président du Tribunal cantonal ont renoncé à présenter des observations. 