A.- Par décision du 16 août 1994, la Caisse interprofessionnelle AVS, allocations familiales et prévoyance professionnelle du canton de Fribourg (CIFA) a alloué à M._, à partir du 1er mai 1994, une rente entière simple d'invalidité assortie de rentes complémentaires pour son épouse et sa fille. L'assuré étant retourné dans son pays d'origine, le Portugal, son dossier a été transmis à la Caisse suisse de compensation. Par courrier du 27 mars 1998, l'assuré, par son mandataire, a informé l'Office AI pour les assurés résidant à l'étranger de son divorce prononcé le 10 mars précédent. Par décision du 29 mai 1998, l'office AI a supprimé, à partir du 1er avril précédent, le droit de l'assuré à une rente complémentaire pour l'épouse. Quant au montant de la rente d'invalidité, il a fait l'objet d'un nouveau calcul tenant compte des bonifications pour tâches éducatives. Le 29 novembre 1999, l'assuré a informé l'office AI de son remariage célébré le 23 novembre précédent avec une ressortissante portugaise et a requis l'octroi d'une rente complémentaire pour son épouse. Par décision du 9 mars 2000, l'office AI a rejeté la demande, motif pris que l'épouse de l'assuré ne pouvait justifier d'une année entière au moins de cotisations à l'AVS/AI. B.- Par jugement du 6 février 2001, la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger a rejeté le recours de l'assuré contre cette décision. C.- Celui-ci interjette recours de droit administratif contre ce jugement en concluant, sous suite de dépens, à l'octroi d'une rente complémentaire pour son épouse à partir du 1er décembre 1999. Il requiert en outre l'assistance judiciaire. L'office intimé conclut au rejet du recours, ce que propose également l'Office fédéral des assurances sociales. 