Faits: Faits: A. B._ exerce une activité indépendante accessoire dans le domaine du marché immobilier. A ce titre, il est affilié à la Caisse de compensation du canton de Fribourg (ci-après: la caisse) depuis le 1er janvier 1984. Par décision du 30 mai 1997, la caisse a fixé la cotisation due pour l'année 1991 en se fondant sur le revenu annuel net déterminant obtenu durant l'année civile correspondante. Le 13 octobre 2000, la caisse a rendu deux décisions de cotisation pour les années 1997 et 1998, dont les montants ont été calculés compte tenu du revenu annuel net déterminant réalisé durant chaque année civile correspondante. Par trois autres décisions du 23 février 2001, la caisse a fixé les cotisations dues pour les années 1994, 1995 et 1996 en se fondant sur le revenu annuel net déterminant obtenu durant chaque année civile correspondante. Par trois autres décisions du 23 février 2001, la caisse a fixé les cotisations dues pour les années 1994, 1995 et 1996 en se fondant sur le revenu annuel net déterminant obtenu durant chaque année civile correspondante. B. B._ a recouru devant le Tribunal administratif du canton de Fribourg contre les décisions de cotisation du 30 mai 1997 concernant l'année 1991 (cause 5S 97 316), du 13 octobre 2000 ayant trait à l'année 1997 (cause 5S 00 597), ainsi que du 23 février 2001 concernant les années 1994 (cause 5S 01 155) et 1995 et 1996 (cause 5S 01 156). En particulier, il contestait les périodes de calcul, ainsi que les montants des revenus annuels déterminants pris en compte. Dans ses déterminations du 23 février 2001 sur le recours en la cause 5S 00 597, la caisse a proposé une autre base de calcul des cotisations relatives aux années 1997 et 1998. Le même jour, elle a rendu deux décisions rectificatives des cotisations dues pour ces années-là. Le 14 août 2003, la caisse s'est déterminée sur les recours dans les causes 5S 00 597, 5S 01 155 et 5S 01 156. Elle proposait un autre mode de fixation des cotisations en se référant à une période de calcul de deux ans comprenant la deuxième et la troisième années antérieures à la période de cotisations de deux ans. En outre, le même jour, elle a rendu quatre décisions rectificatives des cotisations dues pour les années 1993, 1994, 1995, 1996, 1997, 1998 et 1999, ainsi qu'une décision relative à l'année 2000. Par lettre du 8 novembre 2004, la juridiction cantonale a informé B._ qu'elle pourrait être amenée à réformer à son détriment les décisions attaquées et lui a imparti un délai pour se déterminer tout en le rendant attentif à la possibilité de retirer les recours. L'intéressé a maintenu ses conclusions. Par jugement du 7 décembre 2004, la juridiction cantonale a rejeté les recours et réformé les décisions attaquées dans le sens de la proposition faite par la caisse pendente lite. Par jugement du 7 décembre 2004, la juridiction cantonale a rejeté les recours et réformé les décisions attaquées dans le sens de la proposition faite par la caisse pendente lite. C. B._ interjette un recours de droit administratif en concluant, sous suite de frais et dépens, à l'annulation du jugement entrepris et à ce que les cinq décisions rendues par la caisse intimée le 14 août 2003 soient déclarées nulles et sans objet. Dans sa réponse au recours, la caisse intimée indique se rallier, pour l'essentiel, aux considérants du jugement entrepris. Néanmoins, elle relève, d'une part, que le revenu de l'année 1996 a été fixé de manière erronée, ce qui nécessitera une correction à l'issue de la procédure fédérale et, d'autre part, que le recourant a subi en 1998 une perte moins importante que celle qui a été constatée, différence qui n'a toutefois pas d'incidence sur les cotisations. L'Office fédéral des assurances sociales a renoncé à présenter des déterminations. 