A.- L'Office cantonal genevois de l'assurance-invalidité (ci-après : l'office AI) a, le 22 septembre 1998, refusé d'allouer à S._, ressortissant portugais domicilié à Genève, les prestations qu'il demandait. Saisie d'un recours du prénommé contre cette décision, la Commission cantonale de recours en matière d'AVS-AI-APG du canton de Genève (ci-après : la commission) l'a annulée par jugement du 2 juillet 1999 et a renvoyé la cause à l'office AI pour expertise médicale. Dans le cadre de cette instruction complémentaire, l'assuré a été examiné par les médecins du Centre d'observation médicale de l'assurance-invalidité de Bellinzone (ci-après : COMAI). En date du 4 novembre 1999, le COMAI a rendu son rapport, rédigé en italien et accompagné de trois rapports psychiatrique, orthopédique et neurologique, également en italien. Le 14 février 2000, S._ a requis de l'office AI une traduction dudit rapport, ce qui lui a été refusé par courrier du 31 mars 2000. En réponse, l'assuré a précisé que le refus de traduire le document en question l'empêchait de faire valoir son droit d'être entendu, dans la mesure où, ne comprenant pas l'italien, il ne lui était pas possible de se déterminer. Par décision du 8 mai 2000, l'office AI a derechef rejeté la demande de prestations. Se fondant sur l'expertise du COMAI, il a retenu que S._ disposait d'une capacité résiduelle de travail de 75 % dans sa profession de maçon, ce qui entraînait, par comparaison avec le revenu obtenu sans invalidité, une perte de gain de "l'ordre de 27 %", insuffisante pour ouvrir le droit à une rente. B.- Se plaignant notamment d'une violation de son droit d'être entendu, l'assuré a formé recours contre la décision du 8 mai 2000 devant la commission. Statuant en la voie incidente, la juridiction cantonale a, par décision du 23 avril 2001, imparti un délai à l'office AI "afin de faire procéder à ses frais à la traduction de l'expertise du COMAI en langue française". C.- L'office AI interjette recours de droit administratif contre cette décision dont il demande l'annulation, en concluant à ce que la cause soit renvoyée à la commission pour jugement sur le fond. S._ conclut, avec suite de dépens, à la confirmation de la décision attaquée; il sollicite le bénéfice de l'assistance judiciaire. L'Office fédéral des assurances sociales préavise pour l'admission du recours. Interpellées par le juge délégué, les parties ont procédé à un second échange d'écritures et elles ont chacune maintenu leurs conclusions. 