A.- D._, travaillait en Suisse depuis 1987 comme ouvrier horticole. Souffrant de douleurs dorsales, il adressa à la Caisse cantonale genevoise de compensation une demande de prestations de l'assurance-invalidité le 18 avril 1991. Dans un rapport médical du 23 avril 1991, le docteur A._, son médecin traitant, émit le diagnostic de syndrome vertébral lombaire et dorso-lombaire aigu en décompensation spectaculaire sur maladie de Scheuermann avec troubles statiques lombaires et dorso-lombaires très importants et canal relativement étroit. Ce médecin conclut à une incapacité de travail totale dans l'activité exercée jusque-là par l'assuré; il préconisait l'exercice d'une activité légère n'exigeant pas qu'il se penchât en avant, ni qu'il levât ou portât des charges ou qu'il demeurât debout ou assis immobile. Dans le cadre de l'instruction de cette demande, l'assuré effectua un stage d'observation professionnelle au COPAI à Genève, du 21 octobre au 15 novembre 1991. A l'issue de son séjour, les responsables de la formation estimèrent que D._, dont le rendement n'excédait pas 30 % dans les activités proposées, ne disposait plus d'aucune capacité de travail exploitable dans le circuit économique normal (rapport COPAI du 3 décembre 1991). Dès le 1er mars 1992, D._ fut mis au bénéfice d'une rente entière d'invalidité en relation avec une incapacité de gain de 7 %, par décision de la Caisse cantonale genevoise de compensation, du 2 mars 1992. Cette décision demeura inattaquée. L'assuré retourna s'établir au Portugal le 15 février 1993. Procédant à la révision du droit à la rente, l'Office AI pour les assurés résidant à l'étranger (ci-après: l'office) a, par décision du 16 octobre 1997, supprimé la rente avec effet au 1er décembre 1997 au motif que l'assuré était à nouveau en mesure d'exercer une activité lucrative adaptée à son état de santé, lui permettant d'obtenir plus de la moitié du gain réalisé avant la survenance de l'invalidité. Par jugement du 14 juillet 1998, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après: la commission) a admis le recours interjeté par D._ et renvoyé la cause à l'office afin qu'il en complète l'instruction sur le plan médical. D._ a été soumis, du 26 au 28 avril 1999, à des examens médicaux pluridisciplinaires réalisés par le Service d'expertise médicale de l'assurance-invalidité (Servizio Accertamento Medico; ci-après: SAM) à Bellinzone. Les spécialistes consultés ont conclu à une incapacité de travail totale dans la profession d'ouvrier agricole ainsi que dans toute activité physique lourde. Ils ont estimé, en revanche, la capacité médico-théorique de travail de l'assuré à 70 % dans une activité physique manuelle moyenne à légère, simple et répétitive, ne requérant ni qualités d'organisation, ni rapidité d'exécution et pouvant être déployée dans un environnement ergonomiquement adapté, permettant d'alterner les positions assise et debout avec des périodes de déambulation, telles les activités d'ouvrier non qualifié, de portier ou de gardien (rapport du SAM, du 21 mai 1999). Par décision du 7 septembre 1999, l'office a confirmé la suppression de la rente avec effet au 1er décembre 1997. B.- Par jugement du 29 novembre 2000, la commission a rejeté le recours formé contre cette décision par l'assuré. C.- Ce dernier interjette recours de droit administratif contre ce jugement. Il conclut, avec suite de dépens, à son annulation et au maintien de la rente entière d'invalidité. L'office conclut au rejet du recours, cependant que l'Office fédéral des assurances sociales a renoncé à déposer des déterminations. 