Faits: Faits: A. Par acte du 24 mai 2004, A._, ancien président de la Commission de gestion de la Caisse de retraite et de prévoyance X._, a ouvert action contre cette institution devant le Tribunal cantonal des assurances, en demandant, en substance, qu'elle soit condamnée à lui verser une rente mensuelle de vieillesse de 6'244 fr. à partir du 1er avril 2004. Simultanément, il a présenté une requête de mesures provisionnelles tendant au paiement de cette prestation pendant la durée de la procédure. Invoquant une créance compensatoire d'un montant de 4'035'835 fr. au titre du dommage que A._ lui aurait causé en violant gravement ses obligations de diligence et de fidélité lorsqu'il était président de sa Commission de gestion, X._ a conclu au rejet respectivement de l'action et de la requête de mesures provisionnelles. Invoquant une créance compensatoire d'un montant de 4'035'835 fr. au titre du dommage que A._ lui aurait causé en violant gravement ses obligations de diligence et de fidélité lorsqu'il était président de sa Commission de gestion, X._ a conclu au rejet respectivement de l'action et de la requête de mesures provisionnelles. B. Par décision incidente du 10 septembre 2004, déférée immédiatement auprès du Tribunal fédéral des assurances, le Tribunal cantonal des assurances a rejeté la demande de mesures provisionnelles de A._. Le 30 novembre 2004, la Présidente du Tribunal cantonal des assurances a suspendu la procédure jusqu'à droit connu sur le recours de droit administratif formé contre la décision du 10 septembre 2004. A._ a également interjeté un recours de droit administratif contre cette décision. Par arrêts des 7 janvier et 22 février 2005, le Tribunal fédéral des assurances a rejeté le recours formé contre la décision du 10 septembre 2004 (cause B 97/04) et déclaré irrecevable celui interjeté contre la décision du 30 novembre 2004 (cause B 137/04). Par arrêts des 7 janvier et 22 février 2005, le Tribunal fédéral des assurances a rejeté le recours formé contre la décision du 10 septembre 2004 (cause B 97/04) et déclaré irrecevable celui interjeté contre la décision du 30 novembre 2004 (cause B 137/04). C. A réception de l'arrêt du 22 février 2005, le Tribunal cantonal des assurances a repris la procédure et ordonné la poursuite de l'échange d'écritures. Le 22 décembre 2005, Eve-Marie Dayer Schmid, Présidente du Tribunal cantonal des assurances, a suspendu à nouveau la procédure jusqu'à droit connu sur une procédure pénale instruite à l'encontre de A._. Par arrêt du 24 mai 2006, le Tribunal fédéral des assurances a admis le recours de droit administratif interjeté par A._ contre cette décision et invité la Présidente du Tribunal cantonal des assurances à reprendre l'instruction de la cause (cause B 143/05). Par arrêt du 24 mai 2006, le Tribunal fédéral des assurances a admis le recours de droit administratif interjeté par A._ contre cette décision et invité la Présidente du Tribunal cantonal des assurances à reprendre l'instruction de la cause (cause B 143/05). D. Par acte du 7 juin 2006, A._ a requis la récusation d'Eve-Marie Dayer-Schmid en raison de son lien de parenté avec B._, avocat de la Fédération Y._, association partie civile dans la procédure pénale ouverte à son encontre. Par jugement du 30 août 2006, le Tribunal cantonal des assurances a rejeté la demande de récusation, motif pris notamment de la tardiveté de la requête. Par jugement du 30 août 2006, le Tribunal cantonal des assurances a rejeté la demande de récusation, motif pris notamment de la tardiveté de la requête. E. A._ a interjeté un recours de droit administratif contre ce jugement, dont il a demandé l'annulation. Sous suite de frais et dépens, il a conclu à la récusation d'Eve-Marie Dayer-Schmid. Il a sollicité en outre l'octroi de l'assistance judiciaire pour la procédure fédérale. Le Tribunal cantonal des assurances s'en est remis aux motifs du jugement attaqué. L'Office fédéral des assurances sociales n'a pas été invité à se déterminer. Le Tribunal cantonal des assurances s'en est remis aux motifs du jugement attaqué. L'Office fédéral des assurances sociales n'a pas été invité à se déterminer. F. Par décision incidente du 6 mars 2007, le Tribunal fédéral a rejeté la demande d'assistance judiciaire formée par l'assuré. Celui-ci s'est acquitté dans le délai imparti de l'avance de frais requise. 