A.- La société A._ SA est affiliée en tant qu'employeur à la Caisse cantonale valaisanne de compensation (la caisse). S._ a été administrateur de cette société. Par décision du 12 novembre 1999, la caisse a informé le prénommé qu'elle le rendait responsable du préjudice qu'elle avait subi par la remise d'un acte de défaut de biens après saisie, lequel avait été établi à l'encontre de la société A._ SA pour des cotisations paritaires échues et demeurées impayées. De ce chef, la caisse lui en demandait réparation jusqu'à concurrence de 3249 fr. 90. B.- S._ ayant formé opposition, la caisse a porté le cas devant le Tribunal cantonal des assurances du canton du Valais, le 17 décembre 1999, en concluant à ce que le défendeur fût condamné à lui payer la somme précitée. Par ordonnance du 4 janvier 2000, envoyée sous pli recommandé à S._, à Y._ (France) la juridiction cantonale a invité le défendeur à produire ses déterminations, accompagnées des pièces justificatives en sa possession, dans un délai échéant le 4 février 2000. Cette ordonnance est restée sans réponse. Par jugement du 13 mars 2000, le Tribunal cantonal a adjugé entièrement ses conclusions à la caisse demanderesse. C.- S._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant à sa libération. Il produit divers moyens de preuve qui n'avaient pas été versés au dossier en instance cantonale. La caisse intimée conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé. D.- Le Tribunal fédéral des assurances a invité le Tribunal cantonal à lui communiquer la date à laquelle l'ordonnance du 4 janvier 2000 avait été notifiée au recourant. Avec sa réponse, la juridiction cantonale a produit une attestation de l'office postal de Y._, datée du 26 janvier 2001, dont il ressort que l'ordonnance du 4 janvier 2000 n'est pas parvenue audit office. L'intimée, qui a eu l'occasion de se déterminer à nouveau, a maintenu ses conclusions. 