A.- Le 28 juin 2000, A._, dont l'épouse est décédée en novembre 1999, a notamment présenté pour sa fille, O._, née le 30 septembre 1980, une demande de rente d'orpheline. A cette demande, il a joint une attestation certifiant que sa fille avait fréquenté un cours d'allemand échelonné sur 30 journées du 21 septembre 1999 au 5 juin 2000 auprès de X._ (Allemagne). Après avoir requis des informations complémentaires sur le parcours scolaire et les objectifs professionnels de O._, la Caisse cantonale valaisanne de compensation (ci-après : la caisse) a rejeté la demande, au motif que la formation accomplie en Allemagne ne présentait pas une connexité suffisante avec le but professionnel envisagé, condition d'allocation de la rente d'orphelin (décision du 21 août 2000). B.- Par jugement du 26 septembre 2001, le Tribunal cantonal valaisan des assurances a rejeté le recours formé par O._ contre la décision de la caisse. C.- La prénommée interjette recours de droit administratif contre ce jugement, dont elle requiert l'annulation. Elle conclut implicitement à l'octroi d'une rente d'orphelin durant la période où elle a séjourné en Allemagne. La caisse conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales ne s'est pas déterminé. 