A.- J._ a présenté, le 31 août 1994, une demande tendant à l'octroi d'une rente de l'assurance-invalidité. Par décision du 29 novembre 1996, l'Office AI du canton de Vaud lui a alloué, à partir du 1er janvier 1995, une demi-rente d'invalidité assortie de rentes complémentaires correspondantes pour son épouse et son fils. Cette prestation était fondée sur une invalidité de 50 % due à une maladie de longue durée. Saisie d'une demande de l'assuré tendant à la révision de son droit à la rente, l'administration a confirmé le maintien de la prestation allouée jusqu'alors (communication du 20 août 1998). L'assuré ayant contesté ce point de vue (lettre du 7 octobre 1998), l'office AI cantonal a requis l'avis du docteur A._, médecin traitant. Dans un rapport du 3 no- vembre 1998, ce médecin a attesté l'existence d'un état stationnaire et une incapacité de travail de 75 % du 30 janvier 1998 au 12 janvier 1999. Le 22 décembre 1998, l'office AI cantonal a informé l'assuré que sa communication du 20 août précédent relative au maintien de la demi-rente était erronée et qu'il allait mettre en oeuvre une procédure d'instruction. L'assuré étant retourné vivre dans son pays d'origine, l'Espagne, son dossier a été transmis à la Caisse suisse de compensation. Dans un projet de décision du 24 février 2000, l'office AI cantonal a informé l'assuré qu'il allait reconsidérer sa décision d'octroi d'une demi-rente du 29 novembre 1996 et supprimer le droit à cette prestation. Il a considéré qu'en fixant, à l'époque, le degré d'invalidité à 50 %, il s'était fondé sur l'avis du docteur B._ (rapport d'expertise du 18 juin 1996), selon lequel la capacité de travail était de 50 % dans l'ancienne activité de maçon. Comme toutefois ce médecin avait également attesté une capacité de travail entière dans une activité sans port de lourdes charges, la capacité de gain résiduelle aurait dû être calculée en fonction d'une telle activité, dans laquelle l'assuré pouvait réaliser un gain suffisant pour exclure tout droit à une rente. Dans la mesure où elle avait été rendue sans tenir compte des possibilités de réadaptation ni de l'activité raisonnablement exigible, et sans procéder à une comparaison des revenus, la décision du 29 novembre 1996 était sans nul doute erronée, de sorte qu'elle devait être révoquée par la voie de la reconsidération. Aussi, par une décision non datée, l'Office AI pour les assurés résidant à l'étranger a-t-il supprimé le droit à la demi-rente à partir du 1er juin 2000. B.- Saisie d'un recours contre cette décision, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger l'a rejeté par jugement du 12 mars 2001. C.- J._ interjette recours de droit administratif en concluant, sous suite de dépens, à l'annulation du jugement attaqué et de la décision administrative litigieuse, ainsi qu'au renvoi de la cause à l'Office AI du canton de Vaud pour qu'il reprenne l'instruction de sa demande de prestations du 29 août 1994 en vue d'assurer son reclassement professionnel et de déterminer le taux de son invalidité. L'office intimé conclut au rejet du recours en se fondant sur une détermination de l'office AI cantonal. L'Office fédéral des assurances sociales a renoncé à se déterminer. 