A.- B._, née en 1967, a exercé diverses activités en qualité de sommelière et d'ouvrière avant de s'inscrire au chômage. Depuis le mois d'avril 1998, elle est à la charge du Service social de X._. Après avoir subi deux crises comitiales à la suite desquelles une épilepsie a été diagnostiquée (rapport du 16 janvier 1998 du docteur P._), elle s'est plainte, depuis le mois de décembre 1997, de céphalées temporopariétales droites. Le 4 novembre 1998, la prénommée a déposé une demande de prestations de l'assurance-invalidité. Elle a été opérée d'un anévrisme de l'artère choroïdienne antérieure droite le 18 février 1999. Selon la doctoresse L._, médecin généraliste, elle était incapable de travailler du 12 décembre 1997 au 1er juin 1999 (rapport du 30 septembre 1999). Elle a commencé une activité à temps partiel dès le 31 juillet 1999 auprès de la Fondation Q._ (rapport d'enquête économique du 30 août 1999). Le 4 novembre 1999, B._ a été victime d'un accident de la circulation qui a entraîné notamment des brûlures sévères et diverses fractures. La Caisse nationale suisse d'assurance en cas d'accidents a pris en charge le cas et retenu une incapacité de travail totale depuis l'accident (courrier du 18 mai 2000 à l'Office cantonal AI du Valais, ci-après: l'office). Par décision du 26 avril 2000, l'office a alloué à l'assurée une rente entière d'invalidité pour la période du 1er décembre 1998 au 31 août 1999. B.- B._ a recouru contre cette décision devant le Tribunal cantonal des assurances du canton du Valais. Après avoir complété l'instruction en demandant un rapport aux institutions psychiatriques du Valais romand, le tribunal a rejeté le recours par jugement du 28 septembre 2001. C.- B._ interjette recours de droit administratif contre ce jugement, dont elle demande implicitement l'annulation, en concluant, sous suite de frais et dépens, au renvoi du dossier à l'office intimé pour instruction complémentaire. Elle produit deux certificats médicaux à l'appui de ses conclusions et sollicite par ailleurs le bénéfice de l'assistance judiciaire gratuite. L'office intimé ainsi que l'Office fédéral des assurances sociales ont renoncé à se déterminer. 