Faits: A. E._, ressortissant marocain et français, a demandé à la Caisse suisse de compensation (ci-après: la caisse) de lui rembourser les cotisations versées à l'assurance-vieillesse et survivants (AVS). Le 24 juillet 2008, la caisse a rejeté la demande, en considérant qu'un tel remboursement n'était possible que si la Suisse n'avait pas conclu une convention de sécurité sociale avec l'Etat dont l'intéressé était originaire, ce qui n'était pas le cas en l'espèce, puisqu'il existait une convention de sécurité sociale entre la Suisse et la France. L'assuré ayant contesté ce rejet, la caisse a maintenu sa position par décision sur opposition du 23 octobre 2008. B. Statuant le 25 mai 2009 sur le recours formé par E._ contre la décision sur opposition, le Tribunal cantonal vaudois, Cour des assurances sociales, l'a rejeté. C. E._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation, en concluant au remboursement des cotisations AVS versées. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire. 