Sachverhalt: Mit Verfügungen vom 4. April 1996 verpflichtete die Ausgleichskasse Zug R._ und M._, Verwaltungsräte der in Konkurs gefallenen Firma X._, unter solidarischer Haftbarkeit Fr. 37'702.60 Schadenersatz für nicht entrichtete Sozialversicherungsbeiträge zuzüglich Verzugszinsen, Mahngebühren und Betreibungskosten zu leisten. Auf Einspruch beider Belangten klagte die Kasse auf Bezahlung des erwähnten Betrages. Mit Entscheid vom 30. September 1999 hiess das Verwaltungsgericht des Kantons Zug die Klage gut. Die dagegen erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht, soweit es darauf eintrat, mit Urteil vom 4. August 2000 in dem Sinne teilweise gut, dass es die Sache an das kantonale Gericht zurückwies, damit es R._ und M._ das rechtliche Gehör in Bezug auf das Ausmass des Schadenersatzes gewähre. Dem kam das Verwaltungsgericht des Kantons Zug nach. Mit Entscheid vom 26. September 2002 hiess es die Klage der Ausgleichskasse sodann erneut im Umfang von Fr. 37'702.60 gut. R._ und M._ lassen Verwaltungsgerichtsbeschwerde führen und beantragen, der ihnen auferlegte Schadenersatz sei auf Fr. 28'058.35 zu reduzieren. Die Ausgleichskasse und das kantonale Gericht schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. 