A.- La société X._ SA était affiliée à la Caisse interprofessionnelle d'AVS de la Fédération romande des syndicats patronaux (ci-après : la caisse). Son conseil d'administration était composé de A._, président, et de B._, administrateur, tous deux au bénéfice de la signature individuelle. Dès le mois de mars 1987, la société a accumulé du retard dans le paiement des cotisations dues à la caisse. Entre 1988 et 1991, cette dernière lui a ainsi notifié une quinzaine de commandements de payer. Au mois de juin 1990, la caisse a également déposé plainte pénale contre les deux administrateurs. Par jugement du 18 octobre 1994, le Tribunal de police du canton de Genève a toutefois acquitté A._ et B._ du chef d'accusation de détournement de cotisations AVS. Entre-temps, le 23 août 1991, X._ SA a été déclarée en faillite par le Tribunal de première instance du canton de Genève. La liquidation de la société a été suspendue le 24 octobre 1994 et la faillite clôturée par défaut d'actifs le 12 décembre 1994. Par deux décisions du 19 septembre 1995, la caisse a réclamé à A._ et à B._ un montant de 29 165 fr., somme correspondant au dommage subi par elle ensuite de la faillite de X._ SA. La notification de la décision concernant A._ s'est révélée infructueuse, l'intéressé ayant quitté la Suisse sans laisser d'adresse. Quant au pli adressé à B._, remis à la poste le 18 septembre 1995 et indiquant l'ancienne adresse du prénommé, il a été renvoyé par l'office postal destinataire avec la mention "a déménagé; délai de réexpédition expiré". Après avoir eu connaissance de sa nouvelle adresse, la caisse lui a communiqué, le 14 novembre 1995, une nouvelle décision de même teneur que la précédente. Le 24 décembre 1995, B._ a fait opposition contre cette décision. B.- La caisse a porté le cas devant la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité (ci-après : la commission), en concluant, préalablement, à l'irrecevabilité (pour cause de tardiveté) de l'opposition formée par B._ et, principalement, à ce que ce dernier fût condamné à lui payer la somme de 29 165 fr. Par jugement du 31 mars 2000, la commission a déclaré l'opposition de l'intéressé recevable et admis la demande de la caisse dans sa totalité. C.- B._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant au rejet de la demande de la caisse. La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé. 