A.- Le 14 juillet 1997, la société D._ SA, dont H._ est l'administrateur unique depuis 1992, a obtenu un sursis concordataire d'une durée de six mois. Le 4 décembre 1997, elle proposait à ses créanciers, parmi lesquels figurait la Caisse cantonale valaisanne de compensation (ci-après : la caisse), un concordat prévoyant de leur verser un dividende de 10 %, pour solde de compte. Faute d'un nombre suffisant d'adhésions, le juge du district de Monthey en a refusé l'homologation. Il a prononcé la faillite de la société le 16 mars 1998. La caisse a produit une créance de 31 219 fr. relative aux cotisations AVS/AI/APG/AC impayées pour la période de janvier à juillet 1997 ainsi qu'à un solde de cotisations pour l'année 1996, y compris les intérêts moratoires. Le 27 novembre 1998, elle a pris une décision de réparation du dommage par laquelle elle réclamait à H._ le paiement de 31 219 fr., sous déduction d'un éventuel dividende à percevoir dans la faillite de la société. B.- Le prénommé ayant fait opposition à cette décision, la caisse a porté le cas devant le Tribunal des assurances du canton du Valais. Par jugement du 21 août 2000, la juridiction cantonale a condamné l'ancien administrateur de D._ SA à payer à la caisse le montant de 31 219 fr. C.- H._ interjette un recours de droit administratif contre ce jugement en concluant, sous suite de frais et dépens, à sa réforme et au rejet de la demande de la caisse. Celle-ci conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé. 