Faits: A. Au cours de l'instruction de la demande de prestations de l'assurance-invalidité déposée par M._, l'Office cantonal AI du Valais a rendu une décision, le 24 avril 2013, par laquelle il a rejeté la requête d'assistance gratuite d'un conseil juridique pour la procédure administrative, également présentée par l'assurée. B. M._ a recouru contre cette décision devant la Cour des assurances sociales du Tribunal cantonal valaisan. Elle a demandé à être mise au bénéfice de l'assistance judiciaire pour la procédure cantonale. Par décision du 6 août 2013 (cause S3 13 27), la Présidente de la Cour des assurances sociales a rejeté la requête d'assistance judiciaire, au motif que les chances de succès du recours de l'intéressée étaient manifestement plus faibles que le risque de ne pas avoir gain de cause. A la même date, la Cour des assurances sociales a rejeté le recours formé contre la décision administrative du 24 avril 2013 (cause S3 13 26). C. Par écriture du 12 septembre 2013, M._ interjette un recours en matière de droit public contre les deux décisions du 6 août 2013. En ce qui concerne la décision portant sur le refus de l'assistance judiciaire en procédure cantonale, elle conclut à son annulation et à ce que l'assistance judiciaire gratuite lui soit octroyée pour la procédure devant la juridiction cantonale. Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire en procédure fédérale. Le Tribunal cantonal valaisan a renoncé à se déterminer. D. Dans la procédure ayant pour objet la décision du 6 août 2013 relative au refus de l'assistance gratuite d'un conseil juridique dans la procédure administrative (cause 9C_627/2013), le Tribunal fédéral a refusé, par ordonnance de ce jour, la requête d'assistance judiciaire pour la procédure fédérale. 