Faits: Faits: A. N._ a présenté une demande de prestations d'invalidité le 7 juin 1994. Après instruction, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a, en été 2002, mandaté le docteur S._ pour une expertise. En réponse à des objections de l'assuré quant à l'expert nommé, l'office AI lui a indiqué ne pas avoir d'éléments objectifs qui le conduiraient à retirer sa confiance au médecin prénommé (courrier du 27 août 2002). L'assuré ayant réitéré sa demande de récusation, il l'a invité, par lettre du 26 septembre 2002, à donner suite au rendez-vous qui lui serait fixé par l'expert et averti, qu'à défaut, il pouvait se prononcer en l'état du dossier. Le 14 février 2003, N._ a indiqué à l'office AI qu'il refusait de donner suite à la convocation du médecin pour un examen le 28 février suivant. En réponse, le 25 juin 2003, l'office AI a informé l'assuré qu'une expertise médicale était nécessaire pour pouvoir évaluer le droit à des prestations de l'assurance-invalidité et qu'il maintenait la demande d'expertise faite auprès du docteur S._ pour les raisons exposées dans ses courriers des 27 août et 26 septembre 2002 («décision suite à une demande de récusation»). Le 14 février 2003, N._ a indiqué à l'office AI qu'il refusait de donner suite à la convocation du médecin pour un examen le 28 février suivant. En réponse, le 25 juin 2003, l'office AI a informé l'assuré qu'une expertise médicale était nécessaire pour pouvoir évaluer le droit à des prestations de l'assurance-invalidité et qu'il maintenait la demande d'expertise faite auprès du docteur S._ pour les raisons exposées dans ses courriers des 27 août et 26 septembre 2002 («décision suite à une demande de récusation»). B. Par écriture du 9 juillet 2003, l'assuré a déféré cet acte au Tribunal cantonal des assurances du canton de Vaud qui l'a rejeté par jugement du 24 mars 2004. B. Par écriture du 9 juillet 2003, l'assuré a déféré cet acte au Tribunal cantonal des assurances du canton de Vaud qui l'a rejeté par jugement du 24 mars 2004. C. N._ interjette recours de droit administratif contre ce jugement. Sous suite de frais et dépens, il conclut à la réformation de celui-ci, en ce sens que soit constaté qu'il a fait valoir des raisons pertinentes pour la récusation de l'expert, ainsi qu'au renvoi de la cause à l'administration pour qu'elle désigne un nouvel expert. Il sollicite en outre le bénéfice de l'assistance judiciaire tendant à la dispense de payer des frais de justice. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 