A.- Du 1er novembre 1993 au 31 octobre 1998, F._ a perçu des indemnités de chômage de la Caisse publique de chômage du canton de Fribourg (ci-après : la caisse publique). Le 9 août 1993, il avait déposé une demande de prestations auprès de l'Office de l'assurance-invalidité du canton de Fribourg. A la suite de la décision du 8 mars 2000 de l'office de l'assurance-invalidité lui reconnaissant un taux d'invalidité de 68 pour cent à compter du 1er novembre 1993, la Caisse de compensation interprofessionnelle AVS de la Fédération romande des syndicats patronaux (FRSP-CIFA) a communiqué à la caisse publique le montant des arrérages de rentes en faveur de F._ (164 784 fr.). Par décision du 26 mai 2000, la caisse publique a réclamé à l'assuré la restitution, jusqu'à concurrence de 66 502 fr. 65, des indemnités versées du 1er novembre 1993 au 31 octobre 1998. Le montant soumis à restitution était proportionnel au degré de l'incapacité de gain retenu par l'assurance-invalidité (68 pour cent). Le même jour, la caisse publique a requis de la FRSP-CIFA la compensation avec des paiements rétroactifs de l'assurance-invalidité de 65 542 fr. 20, montant qui lui a été versé. La différence, par 960 fr. 45, devait être remboursée directement par l'assuré. B.- F._ a recouru contre cette décision devant le Tribunal administratif du canton de Fribourg. Il concluait à son annulation, subsidiairement à sa modification pour tenir compte de la péremption et/ou de la prescription partielle de la créance en restitution. Dans sa réponse au recours, la caisse publique a accepté de ramener à 163 fr. 60 (au lieu de 960 fr. 45) le montant à restituer directement par l'assuré, pour cause de péremption partielle. Statuant le 25 janvier 2001, le tribunal administratif a admis le recours. Il a pris acte de la réduction de la prétention de la caisse publique en ce qui concerne le montant à rembourser directement par l'assuré. Il a en outre condamné la caisse publique à restituer à ce dernier 19 448 fr. 10. Enfin, il a accordé à l'assuré une indemnité de dépens de 2152 fr. Le tribunal a considéré que le remboursement, par compensation, des prestations versées pour la période antérieure au 25 mai 1995 (19 448 fr. 10) ne pouvait plus être exigé, en raison de l'écoulement du délai de péremption de cinq ans. C.- Le Secrétariat d'Etat à l'économie (seco) interjette recours de droit administratif contre ce jugement dont il demande principalement l'annulation. A titre subsidiaire, il conclut au renvoi de la cause à la caisse publique pour examiner la question de la surindemnisation. F._ conclut au rejet du recours avec suite de dépens. Il demande en outre au tribunal de lui accorder des intérêts moratoires sur les montants de 19 448 fr. 10 et de 2152 fr. Quant à la caisse publique, elle se rallie aux conclusions du seco. 