A.- G._, de nationalité espagnole, a travaillé en Suisse comme ouvrier de chantier jusqu'au 24 avril 1992, date à laquelle il a subi un accident de travail. Depuis lors, il souffre de douleurs dans les épaules et ne travaille plus. Le 2 mars 1993, il a déposé une demande de rente à l'Office de l'assurance-invalidité pour le canton de Berne (ci-après : office AI du canton de Berne). Dans le même temps, il a également demandé à la Caisse nationale suisse d'assurance en cas d'accident (CNA) de le mettre au bénéfice d'une rente. Par décision du 4 mars 1996, l'office AI du canton de Berne a retenu que G._ présentait un taux d'invalidité de 28 % et rejeté sa demande. De même, la CNA a refusé, par décision sur opposition du 9 mai 1995, d'allouer la rente qui lui avait été demandée. Le recours interjeté contre cette décision sur opposition a été rejeté par le Tribunal administratif du canton de Berne, par jugement du 25 avril 1996. B.- Le 26 avril 1999, G._, qui s'est entre-temps établi en Espagne, a présenté une nouvelle demande de rente à l'assurance-invalidité. Celle-ci a été rejetée par décision du 29 juin 1999 de l'Office AI pour les assurés résidant à l'étranger. Ce dernier a considéré que le requérant n'était plus assuré en Suisse depuis le 1er mars 1994 et qu'aucune invalidité ouvrant droit à une rente n'était survenue jusqu'à cette date, comme l'avait constaté l'office AI du canton de Berne dans sa décision du 4 mars 1996. C.- Par jugement du 8 septembre 2000, la Commission de recours en matière d'assurance-vieillesse, invalidité et survivants pour les personnes résidant à l'étranger (ci-après : la commission), a rejeté le recours formé contre cette décision par G._. D.- Ce dernier interjette un recours de droit administratif contre le jugement de la commission. Il en demande l'annulation, en concluant à l'allocation d'une rente d'invalidité. L'intimé conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé. 