A.- A._ a travaillé en Suisse de 1982 à 1988 et versé des cotisations à l'AVS/AI. Le 24 juillet 1989, il a présenté une demande de prestations de l'assurance-invalidité; il faisait état de troubles consécutifs à un accident survenu le 21 juillet 1988, date à laquelle il a cessé de travailler. Par décision du 5 août 1992, la Caisse de compensation SPIDA (ci-après : la caisse) lui a accordé une rente entière d'invalidité pour la période du 1er juillet 1989 au 31 mars 1991. La caisse se fondait notamment sur un prononcé du 14 mai 1992 de la Commission AI du canton du Valais, pour admettre que l'assuré eût été en mesure de reprendre, dès le mois de mars 1991, une activité légère et adaptée, à temps complet, avec un rendement normal, en réalisant un gain représentant au moins les deux tiers de son revenu antérieur. Par jugement du 8 mars 1993, le Tribunal des assurances du canton du Valais a partiellement admis le recours interjeté par l'assuré contre la décision de la caisse du 5 août 1992, en ce sens qu'il l'a annulée et renvoyé la cause à l'administration, pour complément d'instruction, notamment auprès d'un Centre d'observation médicale de l'assurance-invalidité (COMAI). La cour cantonale a considéré que l'on ne pouvait péremptoirement prétendre que l'assuré était à même de réaliser les deux tiers de son revenu antérieur, le 31 mars 1991 déjà. A la suite du retour définitif de A._, le 29 mars 1994, dans son pays d'origine, le dossier a été transmis à l'Office AI pour les assurés résidant à l'étranger (OAI). Par décision du 17 mai 2000, l'OAI a accordé une rente entière d'invalidité au prénommé pour la période du 1er juin 1991 au 31 décembre 1993 et s'est référé à la décision de la caisse du 5 août 1992 en ce qui concerne la période du 1er juillet 1989 au 31 mars 1991. B.- A._ a recouru contre cette décision devant la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après : la commission de recours). Il a conclu à l'octroi d'une rente entière d'invalidité, à partir du 1er janvier 1994. Par jugement du 9 avril 2001, la commission de recours a rejeté le recours. Elle s'est fondée, notamment, sur trois rapports d'expertise psychiatrique de la doctoresse B._ (21 octobre 1990, 11 mars 1992 et 12 avril 1999), sur un rapport d'expertise du COMAI de Lucerne (1er octobre 1996), et sur quatre rapports du médecin de l'OAI, le docteur C._ (31 décembre 1996, 9 juin et 22 novembre 1997 et 9 décembre 1998). C.- A._ interjette recours de droit administratif contre ce jugement. Il conclut, sous suite de frais et dépens, à l'octroi d'une rente entière d'invalidité à partir du 1er janvier 1994. L'OAI conclut au rejet du recours. L'Office fédéral des assurances sociales n'a pas présenté de détermination. 