A.- Par mémoire du 10 octobre 2001, la Fondation institution supplétive LPP (ci-après : la Fondation) a ouvert action en paiement de 11 865 fr. 10 en capital avec intérêts et frais contre A._ devant le Tribunal administratif du canton de Fribourg. A l'appui de sa demande, elle exposait qu'à la suite d'un rapport de la Caisse de compensation du canton de Fribourg, l'autorité cantonale de surveillance avait sommé l'intéressé de s'affilier dans les six mois à une institution de prévoyance. Celui-ci n'ayant pas donné suite, le dossier lui avait été transmis en vue d'une affiliation d'office. Après vaine sommation, l'intéressé avait été affilié par décision du 28 juillet 1999. Sur la base des indications fournies par la caisse de compensation au sujet des salaires versés, la Fondation avait calculé les montants dus à titre de cotisations dont elle réclamait présentement le paiement. A._ a conclu, sous suite de frais et dépens, au rejet de la demande, par mémoire du 14 novembre 2001. Par lettre du 11 décembre 2001, la Fondation a déclaré retirer purement et simplement son action. Prenant acte de cette déclaration de retrait, le président du tribunal a, par décision du 24 janvier 2002, rayé sans frais l'affaire du rôle et alloué une indemnité de dépens de 1076 fr. au défendeur à charge de la demanderesse. B.- La Fondation interjette recours de droit administratif contre cette décision dont elle demande la modification en ce qui concerne l'allocation de dépens. A._ a conclu au rejet du recours avec suite de dépens, alors que l'Office fédéral des assurances sociales en propose l'admission. 