Faits: A. Le club de football X._ était constitué sous la forme d'une association; en tant qu'employeur, il était affilié auprès de la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse). A la suite d'un contrôle d'employeur effectué le 19 janvier 1999, la caisse a rendu le 27 décembre 1999 une décision par laquelle elle a réclamé le versement d'un arriéré de cotisations (AVS/AI/APG/AC et cotisations au régime d'allocations familiales de droit cantonal) relatif aux années 1994 à 1997 pour un montant total de 29'381 fr. 70, prétention qu'elle a réduite plus tard à 26'413 fr. 35. A la suite d'un second contrôle d'employeur effectué les 30 avril et 15 mai 2003 portant sur les années 1998 à 2002, la caisse a réclamé le paiement de la somme de 73'754 fr 65 (décision du 31 octobre 2003). Le club a également laissé impayées les sommes de 6'044 fr. 10 (décision du 30 avril 2001) et 10'099 fr. 95 (décision du 25 mai 2003). Le 14 avril 2005, la caisse a adressé à A._ et B._, en leur qualité d'anciens membres du comité, une décision en réparation du dommage portant sur des montants de respectivement 69'552 fr. 30 et 114'995 fr. 20. Saisie d'oppositions, la caisse les a rejetées par décisions du 30 août 2006. B. Par jugement du 15 octobre 2007, le Tribunal des assurances du canton de Vaud a rejeté les recours formés par A._ et B._ contre les décisions sur opposition les concernant. C. Par un mémoire commun, A._ et B._ interjettent un recours en matière de droit public contre ce jugement. Ils concluent à son annulation et à celle de la décision sur opposition du 30 août 2006. La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 