Sachverhalt: Sachverhalt: A. Die im November 1999 gegründete Firma W._ AG war der Ausgleichskasse des Kantons Zug als Arbeitgeberin angeschlossen und rechnete die paritätischen Sozialversicherungsbeiträge im Pauschalverfahren ab. Am 30. Oktober 2001 wurde über die Gesellschaft der Konkurs eröffnet, welcher am 11. Dezember 2001 mangels Aktiven wieder eingestellt wurde. Mit Verfügungen vom 14. November 2002 verpflichtete die Ausgleichskasse K._ und S._ als ehemalige Verwaltungsräte sowie E._ als ehemaligen Direktor der konkursiten Firma zur Leistung von Schadenersatz für entgangene paritätische Sozialversicherungsbeiträge (inkl. FAK) in Höhe von Fr. 49'611.05. Mit Verfügungen vom 14. November 2002 verpflichtete die Ausgleichskasse K._ und S._ als ehemalige Verwaltungsräte sowie E._ als ehemaligen Direktor der konkursiten Firma zur Leistung von Schadenersatz für entgangene paritätische Sozialversicherungsbeiträge (inkl. FAK) in Höhe von Fr. 49'611.05. B. Auf erfolgte Einsprüche hin reichte die Ausgleichskasse am 23. Dezember 2002 Klage gegen die drei Organe mit dem Antrag auf Bezahlung von Schadenersatz in verfügtem Umfang ein. Mit Entscheid vom 30. Oktober 2003 verpflichtete das Verwaltungsgericht des Kantons Zug K._, S._ und E._ zur Bezahlung von Schadenersatz in Höhe von Fr. 49'611.05 unter solidarischer Haftbarkeit. B. Auf erfolgte Einsprüche hin reichte die Ausgleichskasse am 23. Dezember 2002 Klage gegen die drei Organe mit dem Antrag auf Bezahlung von Schadenersatz in verfügtem Umfang ein. Mit Entscheid vom 30. Oktober 2003 verpflichtete das Verwaltungsgericht des Kantons Zug K._, S._ und E._ zur Bezahlung von Schadenersatz in Höhe von Fr. 49'611.05 unter solidarischer Haftbarkeit. C. K._ und S._ führen Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Schadenersatzklage abzuweisen. Kantonales Gericht und Ausgleichskasse des Kantons Zug schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. Der Mitinteressierte E._ reicht eine Vernehmlassung ein, ohne einen Antrag zu stellen. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. 