Sachverhalt: Sachverhalt: A. Über die seit September 19.. im Handelsregister des Kantons Zug eingetragene Firma B._ AG wurde im Juli 2003 der Konkurs eröffnet. Im Dezember 2003 wurde der Kollokationsplan eine erstes Mal und nach Bereinigung im Mai 2004 ein zweites Mal aufgelegt. E._ amtete von September 1994 bis Februar 2003 und wiederum ab April 2003 als Verwaltungsratsmitglied, zeitweilig als Verwaltungsratspräsident. H._ gehörte dem Verwaltungsrat von November 1997 bis Februar 2003 an. Mit zwei Schadenersatzverfügungen vom 21. Juli 2004 verpflichtete die Ausgleichskasse des Kantons Zug E._ und H._ als ehemalige Verwaltungsräte der konkursiten Firma B._ AG, ihr für entgangene Sozialversicherungsbeiträge Schadenersatz im Betrage von Fr. 41'516.65 zu bezahlen. Auf die von E._ und H._ hiegegen erhobene Einsprache hin ergänzte die Ausgleichskasse das Dispositiv der Schadenersatzverfügung dahingehend, als für den Fall der vollständigen Bezahlung die der Ausgleichskasse des Kantons Zug im laufenden Konkursverfahren allenfalls zustehende Konkursdividende an E._ und H._ abgetreten werde; im Übrigen lehnte sie die Einsprache ab (Entscheid vom 4. Februar 2005). Mit zwei Schadenersatzverfügungen vom 21. Juli 2004 verpflichtete die Ausgleichskasse des Kantons Zug E._ und H._ als ehemalige Verwaltungsräte der konkursiten Firma B._ AG, ihr für entgangene Sozialversicherungsbeiträge Schadenersatz im Betrage von Fr. 41'516.65 zu bezahlen. Auf die von E._ und H._ hiegegen erhobene Einsprache hin ergänzte die Ausgleichskasse das Dispositiv der Schadenersatzverfügung dahingehend, als für den Fall der vollständigen Bezahlung die der Ausgleichskasse des Kantons Zug im laufenden Konkursverfahren allenfalls zustehende Konkursdividende an E._ und H._ abgetreten werde; im Übrigen lehnte sie die Einsprache ab (Entscheid vom 4. Februar 2005). B. E._ und H._ liessen hiegegen Beschwerde führen und beantragen, die Schadenersatzverfügung vom 21. Juli 2004, ergänzt durch den Einspracheentscheid vom 4. Februar 2005, sei in vollem Umfange aufzuheben und es sei auf eine Schadenersatzforderung ihnen gegenüber zu verzichten. Mit Entscheid vom 25. August 2005 wies das Verwaltungsgericht des Kantons Zug die Beschwerde des E._ ab (Ziffer 1). Die Beschwerde des H._ hiess es teilweise gut und stellte fest, dass H._ der Ausgleichskasse Schadenersatz für nicht bezahlte Sozialversicherungsbeiträge im Betrage von Fr. 28'297.25 zu bezahlen habe; im Übrigen wies es auch seine Beschwerde ab (Ziffer 2). Des Weitern hielt es fest, dass im Umfang der Forderung, wie sie H._ gegenüber bestehe, solidarische Haftbarkeit gegeben sei und für den Fall der vollständigen Bezahlung der Forderung eine der Ausgleichskasse allenfalls zustehende Konkursdividende aus dem Konkurs der Firma B._ AG an E._ und H._ abgetreten werde (Ziffer 3). H._ wurde zulasten der Ausgleichskasse eine Parteientschädigung im Betrage von Fr. 1'200.- (einschliesslich Mehrwertsteuer) zugesprochen (Ziffer 5). B. E._ und H._ liessen hiegegen Beschwerde führen und beantragen, die Schadenersatzverfügung vom 21. Juli 2004, ergänzt durch den Einspracheentscheid vom 4. Februar 2005, sei in vollem Umfange aufzuheben und es sei auf eine Schadenersatzforderung ihnen gegenüber zu verzichten. Mit Entscheid vom 25. August 2005 wies das Verwaltungsgericht des Kantons Zug die Beschwerde des E._ ab (Ziffer 1). Die Beschwerde des H._ hiess es teilweise gut und stellte fest, dass H._ der Ausgleichskasse Schadenersatz für nicht bezahlte Sozialversicherungsbeiträge im Betrage von Fr. 28'297.25 zu bezahlen habe; im Übrigen wies es auch seine Beschwerde ab (Ziffer 2). Des Weitern hielt es fest, dass im Umfang der Forderung, wie sie H._ gegenüber bestehe, solidarische Haftbarkeit gegeben sei und für den Fall der vollständigen Bezahlung der Forderung eine der Ausgleichskasse allenfalls zustehende Konkursdividende aus dem Konkurs der Firma B._ AG an E._ und H._ abgetreten werde (Ziffer 3). H._ wurde zulasten der Ausgleichskasse eine Parteientschädigung im Betrage von Fr. 1'200.- (einschliesslich Mehrwertsteuer) zugesprochen (Ziffer 5). C. H._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei der kantonale Entscheid teilweise aufzuheben und in Abänderung der Dispositivziffern 2, 3 und 5 festzustellen, dass er nicht schadenersatzpflichtig sei. Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, enthält sich der zum Verfahren beigeladene E._ eines formellen Antrags. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. 