Faits: Faits: A. A._ exerce une activité indépendante accessoire dans le domaine du marché immobilier. A ce titre, il est affilié à la Caisse de compensation du canton de Fribourg (ci-après: la caisse) depuis le 1er janvier 1988. Par trois décisions du 6 avril 2001, la caisse a fixé les cotisations dues pour les années 1994, 1995 et 1996 en se fondant sur le revenu annuel net déterminant obtenu durant chaque année civile correspondante. Par trois décisions du 6 avril 2001, la caisse a fixé les cotisations dues pour les années 1994, 1995 et 1996 en se fondant sur le revenu annuel net déterminant obtenu durant chaque année civile correspondante. B. A._ a recouru contre ces décisions devant le Tribunal administratif du canton de Fribourg, en contestant en particulier les périodes de calcul, ainsi que les montants des revenus annuels déterminants pris en compte. Dans ses déterminations sur les recours, la caisse a proposé un autre mode de fixation des cotisations en se référant à la période de calcul de deux ans comprenant la deuxième et la troisième années antérieures à la période de cotisations de deux ans. Par ailleurs, le 14 août 2003, elle a rendu cinq décisions de fixation des cotisations, dont deux décisions rectificatives des cotisations dues pour les années 1994, 1995 et 1996. Par lettre du 8 novembre 2004, la juridiction cantonale a informé A._ qu'elle pourrait être amenée à réformer à son détriment les décisions attaquées et lui a imparti un délai pour se déterminer, tout en le rendant attentif à la possibilité de retirer les recours. L'intéressé a maintenu ses conclusions. Par jugement du 7 décembre 2004, la juridiction cantonale a rejeté les recours et réformé les décisions attaquées dans le sens de la proposition faite par la caisse pendente lite. Par jugement du 7 décembre 2004, la juridiction cantonale a rejeté les recours et réformé les décisions attaquées dans le sens de la proposition faite par la caisse pendente lite. C. A._ interjette un recours de droit administratif en concluant, sous suite de frais et dépens, à l'annulation du jugement entrepris et à ce que les cinq décisions rendues par la caisse intimée le 14 août 2003 soient déclarées nulles et sans objet. Dans sa réponse au recours, la caisse intimée indique se rallier, pour l'essentiel, aux considérants du jugement entrepris, tout en relevant que le revenu de l'année 1996 a été fixé de manière erronée, ce qui nécessitera une correction à l'issue de la procédure fédérale. L'Office fédéral des assurances sociales a renoncé à présenter des déterminations. 