A.- a) Par décision du 16 décembre 1997, la Caisse cantonale valaisanne de compensation (la caisse) a informé T._ qu'elle le rendait responsable du préjudice qu'elle avait subi dans la faillite de la société X._ SA survenue le 19 novembre 1996 (perte de cotisations paritaires), et qu'elle lui en demandait réparation jusqu'à concurrence de 31 189 fr. 25. T._ s'est opposé à cette décision, par lettre du 23 décembre 1997. La caisse a porté le cas devant le Tribunal des assurances du canton du Valais, le 19 janvier 1998, en concluant à ce que le défendeur fût condamné à lui payer le montant précité. Par jugement du 3 décembre 1998, la cour cantonale a statué, admettant la demande dirigée contre T._ et condamnant celui-ci à payer la somme de 31 189 fr. 25 à la demanderesse, sans donner l'occasion au défendeur de s'exprimer sur une écriture complémentaire de la caisse du 26 janvier 1998. Par arrêt du 3 août 1999, le Tribunal fédéral des assurances a admis le recours de droit administratif interjeté par T._, annulé le jugement entrepris (sans examen au fond) et renvoyé la cause au Tribunal des assurances du canton du Valais pour qu'il donne au prénommé l'occasion de dupliquer. Répondant à l'invitation de l'autorité cantonale, T._ s'est déterminé par écriture du 6 septembre 1999. Dans le cadre de l'instruction, la cour cantonale a requis le dossier pénal le concernant. b) Par jugement du 15 septembre 1999 le Juge II du district de Sion a acquitté T._ des chefs d'accusation de gestion déloyale et de gestion fautive retenus contre lui par le Ministère public du Valais central. Selon les termes de ce jugement "l'autorité de céans a finalement acquitté T._, son ignorance de la situation et l'absence de dessein délictueux interdisant toute condamnation. Sur le plan civil, T._ n'a toutefois pas su assumer ses responsabilités d'administrateur et a, par sa passivité, causé la faillite de la société. Il a du reste expressément reconnu ses torts" (p. 42 du jugement pénal). B.- Par jugement du 28 décembre 1999, le Tribunal des assurances du canton du Valais a admis la demande de réparation du dommage présentée le 19 janvier 1998 par la caisse et levé l'opposition de T._, ce dernier étant reconnu débiteur d'un montant de 31 189 fr. 25 à l'endroit de la demanderesse. C.- T._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, sous suite de frais et dépens. Il conclut à ce que la demande en réparation du dommage qui le concerne soit rejetée. La caisse conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé. 