A.- N._ a été mise au bénéfice d'une demi-rente ordinaire d'invalidité, assortie d'une rente complémentaire pour son enfant à partir du 1er janvier 1994 (décision de l'Office cantonal AI du Valais du 29 novembre 1995, remplacée par une décision du 5 juin 1996 prenant en compte les périodes de prestations effectuées au Portugal). Selon les constatations médicales de l'époque (cf. en particulier le rapport de la Policlinique X._ du 16 juin 1995), l'assurée présentait de minimes altérations somatiques sous forme essentiellement de séquelles de tendinite du jambier postérieur droit, ainsi que des troubles psychiques (somatisations dans le cadre d'un état dépressif masqué). Ces derniers entraînaient une incapacité de travail de 50 % dans son activité d'aide de cuisine, alors que, du point de vue somatique, sa capacité de travail était intacte. L'assurée a définitivement quitté la Suisse pour son pays d'origine au cours de l'année 1996. Elle n'a jamais repris d'activité lucrative. Par décision du 24 décembre 1997, l'Office AI pour les assurés résidant à l'étranger (ci-après : l'office) lui a accordé, à partir du 1er septembre 1997, une demi-rente ordinaire simple pour son second enfant, né le 18 septembre 1997. Dans le cadre d'une procédure de révision, l'office a recueilli divers renseignements médicaux, notamment un rapport du docteur A._, psychiatre, du 20 avril 1998, selon lequel l'assurée ne présentait pas de plaintes de type psychopathologique, un examen neurologique sommaire n'ayant pas révélé non plus d'altérations. Par décision du 8 février 1999, l'office a dès lors supprimé, avec effet au 1er avril 1999, le droit de l'assurée à une rente d'invalidité. B.- Par jugement du 23 juin 1999, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après : la commission) a admis le recours formé par l'assurée contre cette décision et renvoyé la cause à l'office pour complément d'instruction sous la forme d'une expertise pluridisciplinaire auprès du Servizio Accertamento Medico dell'Assicurazione Invalidità (SAM) de Bellinzone, suivant en cela une proposition faite par ledit office en cours de procédure. Le 4 septembre 2000, se fondant sur les conclusions des experts du SAM (rapport du 10 décembre 1999) et en tenant compte des différents rapports établis par les médecins portugais de l'assurée, l'office a derechef statué que la demi-rente d'invalidité de cette dernière était supprimée à partir du 1er avril 1999. C.- Par jugement du 5 novembre 2001, la commission a rejeté le recours formé par l'assurée contre cette décision. D.- N._ interjette recours de droit administratif contre ce jugement en concluant implicitement à son annulation ainsi qu'au maintien d'une demi-rente d'invalidité après le 1er avril 1999. L'office conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé. 