A.- a) Dans le cadre d'une révision des dossiers de la Caisse publique cantonale vaudoise de chômage (la caisse), le Secrétariat d'Etat à l'économie (seco) a constaté que la société J._ SA, entreprise de génie civil, avait bénéficié à tort d'un montant de 58 272 fr. 25 à titre d'indemnités pour cause d'intempéries (cf. rapports provisoire du 26 janvier 1998 et définitif du 26 mars 1998). Par décision du 27 mars 1998, la caisse a invité J._ SA à lui restituer cette somme. Le Service de l'emploi du canton de Vaud, première instance cantonale de recours en matière d'assurance-chômage (le service de l'emploi), a rejeté le recours de l'employeur prénommé, par décision du 13 octobre 1999, si bien que la décision de la caisse est entrée en force. b) Par écriture du 17 janvier 2000, J._ SA a demandé à la caisse de remettre son obligation de restituer la somme de 58 272 fr. 25, arguant de sa bonne foi et des rigueurs particulières que le remboursement lui occasionnerait. Par décision du 8 septembre 2000, le service de l'emploi a rejeté la demande. B.- J._ SA a recouru contre cette décision devant le Tribunal administratif du canton de Vaud, en concluant implicitement à son annulation. Par jugement du 29 décembre 2000, le Tribunal administratif a admis le recours, annulé la décision du 8 septembre 2000, et renvoyé la cause au service de l'emploi pour complément d'instruction dans le sens de ses considérants et nouvelle décision. C.- Le seco interjette recours de droit administratif contre ce jugement dont il demande l'annulation. J._ SA conclut au rejet du recours et propose, à titre transactionnel, de rembourser le montant de 38 000 fr. La caisse s'en remet à justice. 