Faits: Faits: A. R._ a présenté une demande de prestations d'invalidité le 18 novembre 1997. Après instruction, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a, au printemps 2002, confié une expertise au docteur S._. L'assuré n'a pas donné suite à la convocation de ce médecin et a indiqué à l'office AI qu'il refusait de se soumettre à une expertise auprès de ce praticien. Par courrier du 13 septembre 2002, l'office AI lui a confirmé avoir désigné le docteur S._ pour une expertise et maintenir cette demande d'expertise; il l'a par ailleurs invité à donner suite au prochain rendez-vous qui lui serait fixé par le médecin. Par la suite, le 6 mars 2003, l'office AI a informé l'assuré qu'une expertise médicale était nécessaire pour pouvoir évaluer le droit à des prestations de l'assurance-invalidité et que la demande d'expertise faite auprès du docteur S._ était maintenue («décision suite à une demande de récusation»). Par la suite, le 6 mars 2003, l'office AI a informé l'assuré qu'une expertise médicale était nécessaire pour pouvoir évaluer le droit à des prestations de l'assurance-invalidité et que la demande d'expertise faite auprès du docteur S._ était maintenue («décision suite à une demande de récusation»). B. Par écriture du 3 avril 2003, l'assuré a déféré cet acte au Tribunal cantonal vaudois des assurances qui l'a débouté par jugement du 25 février 2004. B. Par écriture du 3 avril 2003, l'assuré a déféré cet acte au Tribunal cantonal vaudois des assurances qui l'a débouté par jugement du 25 février 2004. C. R._ interjette recours de droit administratif contre ce jugement. Sous suite de frais et dépens, il conclut en substance à la réformation de celui-ci, en ce sens que soit prononcée la récusation de l'expert désigné et que la cause soit renvoyée à l'administration pour qu'elle nomme un nouvel expert. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 