A.- J._, ressortissant français, a été employé du 1er octobre 1984 au 1er avril 1997 comme gardien de la paix par X._. Il est arrivé à Genève en 1997 pour vivre auprès de son épouse suissesse et a été mis au bénéfice d'une autorisation de séjour (permis B) avec la mention "à la recherche d'un emploi". Le prénommé s'est inscrit à l'Office cantonal genevois de l'emploi (ci-après : l'OCE) et a sollicité, par demande du 20 mai 1997, des indemnités de chômage dès le 1er avril 1997. Un délai-cadre d'indemnisation a été ouvert en faveur de l'intéressé, dès le 1er mai 1997, date à partir de laquelle il a perçu des indemnités. B.- Par décision du 6 avril 1999, la Caisse cantonale genevoise de chômage (ci-après : la caisse) a nié le droit de J._ à des indemnités de chômage à partir du 1er mai 1997, au motif qu'il était de nationalité française et n'avait pas réalisé six mois d'activité salariée en Suisse depuis son arrivée dans ce pays. En outre, elle a demandé au prénommé le remboursement de la somme de 33 445 fr. 70 net, représentant 436 indemnités journalières perçues indûment du 1er mai 1997 au 31 décembre 1998, par décision du 3 juin 1999 dont elle a suspendu l'exécution jusqu'à droit connu quant à sa décision du 6 avril 1999. Le 25 octobre 1999, l'OCE a rejeté la réclamation que l'assuré avait formée contre la première décision de la caisse du 6 avril 1999. C.- J._ a déféré la décision de l'OCE à la Commission cantonale genevoise de recours en matière d'assurance-chômage qui l'a débouté par jugement du 28 juin 2001. D.- J._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation. Il conclut en particulier à ce que son droit aux indemnités perçues soit confirmé. La caisse conclut au rejet du recours, tandis que le Secrétariat d'Etat à l'économie a renoncé à se déterminer. 