A.- Par acte authentique du 28 décembre 1983, B._, C._ et D._ ont constitué la société A._, Transports internationaux SA, qui avait pour but l'exploitation d'une entreprise de transports par camions sur le plan international. B._ en était le directeur, tout d'abord avec signature individuelle, puis avec signature collective à deux. La société a repris l'exploitation de l'entreprise de transports auparavant exploitée en raison individuelle par B._. Par convention du 28 décembre 1983 également, ce dernier s'est engagé à travailler comme chauffeur au service de la société de telle manière qu'un salaire minimum de 2500 fr. par mois puisse lui être versé. Le 6 juillet 1984, la société anonyme et B._ ont conclu un contrat par lequel la première s'engageait à prêter au second la somme de 31 313 fr. Par la suite, d'autres prêts ont été accordés par la société à B._. Le montant total de ces prêts successifs a atteint, en 1997, 345 660 fr. En mars 1997, B._ a mis fin à ses rapports de travail avec la société. A la suite d'un contrôle d'employeur, le 19 janvier 1999, il est apparu que la société, dans le cadre de son assainissement, avait abandonné la créance de 345 660 fr. qu'elle détenait à l'encontre de B._ et procédé à son annulation comptable le 31 mars 1997. Le 23 avril 1999, la Caisse de compensation du canton de Fribourg a notifié à A._, Transports internationaux SA une décision par laquelle elle lui réclamait le montant de 50 137 fr. 65 au titre de cotisations AVS/AI/APG/AC, de cotisations au régime d'allocations familiales et de frais de gestion sur le montant précité de 345 660 fr. Elle lui a également notifié, le même jour, une décision par laquelle elle lui a réclamé le montant de 3088 fr. 85 au titre d'intérêts moratoires sur les cotisations dues. Le 23 avril 1999, elle a envoyé une copie de sa décision de cotisations à B._. B.- A._, Transports internationaux SA et B._ ont tous deux recouru contre ces décisions. Statuant le 14 décembre 2000, le Tribunal administratif du canton de Fribourg a rejeté les recours. C.- Contre ce jugement, A._, Transports internationaux SA et B._ interjettent un recours de droit administratif dans lequel ils concluent à l'annulation du jugement cantonal et à la "nullité" des décisions du 23 avril 1999. La caisse de compensation conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet. 