Sachverhalt: Sachverhalt: A. Die am ........ ins Handelsregister eingetragene Firma H._ AG war der Ausgleichskasse des Kantons Bern (nachfolgend: Ausgleichskasse) als beitragspflichtige Arbeitgeberin angeschlossen. Als Verwaltungsratspräsident mit Einzelunterschrift amtete H._, als Mitglied des Verwaltungsrats ohne Zeichnungsberechtigung S._. Am ........ wurde über die Gesellschaft der Konkurs eröffnet und am ........ der Kollokationsplan aufgelegt. Der Ausgleichskasse wurde am 12. Juni 2003 ein Verlustschein über Fr. 53'996.45 ausgestellt. Mit Verfügungen vom 28. April sowie 1. Juni 2004 verpflichtete die Ausgleichskasse S._ und H._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich FAK-Beiträge, Verwaltungskosten, Verzugszinsen, Mahngebühren und Betreibungskosten) in der Höhe von Fr. 53'744.35. Die Verfügung vom 1. Juni 2004 gegenüber H._ erwuchs unangefochten in Rechtskraft. Die gegen die Verfügung vom 28. April 2004 von S._ erhobene Einsprache wies die Ausgleichskasse mit Entscheid vom 31. März 2005 ab. A. Die am ........ ins Handelsregister eingetragene Firma H._ AG war der Ausgleichskasse des Kantons Bern (nachfolgend: Ausgleichskasse) als beitragspflichtige Arbeitgeberin angeschlossen. Als Verwaltungsratspräsident mit Einzelunterschrift amtete H._, als Mitglied des Verwaltungsrats ohne Zeichnungsberechtigung S._. Am ........ wurde über die Gesellschaft der Konkurs eröffnet und am ........ der Kollokationsplan aufgelegt. Der Ausgleichskasse wurde am 12. Juni 2003 ein Verlustschein über Fr. 53'996.45 ausgestellt. Mit Verfügungen vom 28. April sowie 1. Juni 2004 verpflichtete die Ausgleichskasse S._ und H._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich FAK-Beiträge, Verwaltungskosten, Verzugszinsen, Mahngebühren und Betreibungskosten) in der Höhe von Fr. 53'744.35. Die Verfügung vom 1. Juni 2004 gegenüber H._ erwuchs unangefochten in Rechtskraft. Die gegen die Verfügung vom 28. April 2004 von S._ erhobene Einsprache wies die Ausgleichskasse mit Entscheid vom 31. März 2005 ab. B. Die von S._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 3. März 2006 ab. B. Die von S._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 3. März 2006 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt S._ die Aufhebung des vorinstanzlichen Entscheides beantragen. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung verzichtet. Der als Mitinteressierter beigeladene H._ hat sich nicht vernehmen lassen. 