A.- La société X._ SA était affiliée en tant qu'employeur à la Caisse cantonale vaudoise de compensation (la caisse). C._, A._ et son épouse B._ ont été administrateurs de cette société. En 1997, X._ SA a obtenu un sursis concordataire, dans lequel la caisse a produit, le 13 mai 1997, une créance de cotisations de 113 522 fr. 95. Le sursis a été révoqué le 3 mars 1998, suivi du prononcé immédiat de la faillite; la production de la caisse dans ladite faillite, du 25 mars 1998, s'est élevée à 181 809 fr. 90. Par décision du 12 janvier 1999, la caisse a informé les trois administrateurs prénommés qu'elle les rendait responsables du préjudice qu'elle avait subi dans la faillite de la société X._ SA et qu'elle leur en demandait réparation jusqu'à concurrence de 162 481 fr. 70. B.- A._ et B._ ayant formé opposition à cette décision, la caisse a porté le cas devant le Tribunal des assurances du canton de Vaud, le 11 mars 1999, en concluant à ce que les deux défendeurs fussent condamnés à lui payer la somme précitée. En cours d'instance, la caisse a réduit ses prétentions à 155 914 fr. 55. Par jugement du 20 juin 2000, le Tribunal cantonal a adjugé entièrement ses conclusions à la caisse demanderesse. C.- A._ et B._ interjettent recours de droit administratif contre ce jugement dont ils demandent l'annulation. Ils concluent principalement à leur libération, subsidiairement à leur condamnation à verser un montant à dire de justice mais inférieur à 155 914 fr. 55, plus subsidiairement encore au renvoi de la cause aux premiers juges. La caisse intimée conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé. 