Faits: Faits: A. Par demande du 3 novembre 2003, W._ a ouvert une action devant le Tribunal administratif du canton de Fribourg, contre son ex-employeur, B._ SA. Il lui reprochait de ne pas avoir respecté l'art. 51 LPP, relatif à la gestion paritaire dans les organes de l'institution de prévoyance auprès de laquelle la société était affiliée, à savoir Servisa, Fondation collective des Banques Cantonales. Pour ce motif, il contestait «toutes les décisions, y compris les décisions financières prises dans le cadre de la Commission de gestion paritaire, qui n'en est pas une au sens juridique, depuis (son) entrée dans la caisse le 1er janvier 1991». Il concluait à ce que l'employeur lui rétrocède, sur son compte de prévoyance, «la somme de la différence des intérêts réellement réalisés moins la somme des intérêts qui avaient été réellement versés, ceci pendant toute la durée de (son) affiliation à cette caisse de prévoyance, vu que les sommes qui ont été ponctionnées pour couvrir autre chose que les intérêts l'ont été sans l'accord de l'ensemble du personnel». Comme son contrat de travail avait été résilié au 31 décembre 2002, il réclamait, au titre de dommages et intérêts «la somme manquante actuellement dans (son) actuel fonds de prévoyance». Il a indiqué qu'il avait introduit une action pour licenciement abusif auprès de la Chambre des Prud'hommes et que la procédure était toujours pendante. Invité par le président du Tribunal administratif à préciser ses conclusions, W._ a informé le tribunal qu'il prendrait contact avec un avocat (lettre du 26 novembre 2003). Après deux prolongations successives de délais, Me Benoît Sansonnens a informé le tribunal que W._ lui avait confié la défense de ses intérêts. L'avocat a sollicité une nouvelle prolongation de délai que le tribunal a refusé de lui accorder. Invité par le président du Tribunal administratif à préciser ses conclusions, W._ a informé le tribunal qu'il prendrait contact avec un avocat (lettre du 26 novembre 2003). Après deux prolongations successives de délais, Me Benoît Sansonnens a informé le tribunal que W._ lui avait confié la défense de ses intérêts. L'avocat a sollicité une nouvelle prolongation de délai que le tribunal a refusé de lui accorder. B. Statuant le 24 mars 2004, le tribunal administratif a déclaré irrecevable l'action, au motif que le litige ne relevait pas de la compétence des autorités juridictionnelles prévue par l'art. 73 LPP. B. Statuant le 24 mars 2004, le tribunal administratif a déclaré irrecevable l'action, au motif que le litige ne relevait pas de la compétence des autorités juridictionnelles prévue par l'art. 73 LPP. C. L'Office fédéral des assurances sociales interjette un recours de droit administratif dans lequel il conclut à l'annulation de ce jugement et au renvoi de la cause au tribunal administratif pour qu'il statue sur le fond. B._ SA a conclu, sous suite de dépens, au rejet du recours. W._, par son mandataire, déclare renoncer à déposer des observations et s'en remet à justice. 