Faits: Faits: A. Le 24 mai 2004, R._ a ouvert action devant le Tribunal cantonal des assurances du canton du Valais contre la Caisse de Retraite et de Prévoyance du Personnel Enseignant du Canton du Valais (CRPE), en demandant qu'ordre soit donné aux organes de la caisse de lui verser une rente mensuelle de 6'244 fr., avec effet au 1er avril 2004. Simultanément, il présentait une requête de mesures provisionnelles visant au paiement immédiat de la rente mensuelle de 6'244 fr. Le 28 juillet 2004, la CRPE s'est déterminée sur la requête de mesures provisionnelles. Dans un mémoire séparé daté du même jour, elle a déposé sa réponse. Elle invoquait la compensation avec une prétention en dommage-intérêts à l'encontre de l'assuré. Par décision du 10 septembre 2004, la juridiction cantonale a rejeté la requête de mesures provisionnelles. Par décision du 10 septembre 2004, la juridiction cantonale a rejeté la requête de mesures provisionnelles. B. R._ interjette recours de droit administratif contre cette décision, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci. Dans sa réponse du 2 novembre 2004, la CRPE conclut, sous suite de frais et dépens, au rejet du recours pour autant qu'il soit recevable. De son côté, l'Office fédéral des assurances sociales renonce à se déterminer. Les parties ont complété leur mémoire, sans toutefois qu'un nouvel échange d'écritures ait été ordonné. 