Sachverhalt: Sachverhalt: A. J._ war ab Dezember 1998 einzelzeichnungsberechtigtes Mitglied des Verwaltungsrates der B._ AG (später B._ AG, seit 23. September 2003 mit Sitz in Zug), V._ hatte seit Juli 2000 Einzelprokura inne. Nachdem ein erstes Konkurserkenntnis vom Appellationshof des Kantons Bern am 10. Dezember 2003 aufgehoben worden war, wurde am 6. Juli 2004 erneut der Konkurs über die B._ AG eröffnet, mit Verfügung des Konkursrichters am 5. August 2004 aber mangels Aktiven wieder eingestellt. Mit Verfügungen vom 23. Februar 2005 verpflichtete die Ausgleichskasse des Kantons Bern J._ und V._ als ehemalige Organe der B._ AG zur Bezahlung von Schadenersatz von Fr. 65'065.60 für Beiträge, welche die Konkursitin ihr schuldig geblieben sei. Mit Einspracheentscheiden vom 2. September 2005 reduzierte die Ausgleichskasse ihr Schadenersatzforderung auf Fr. 65'035.60. Mit Verfügungen vom 23. Februar 2005 verpflichtete die Ausgleichskasse des Kantons Bern J._ und V._ als ehemalige Organe der B._ AG zur Bezahlung von Schadenersatz von Fr. 65'065.60 für Beiträge, welche die Konkursitin ihr schuldig geblieben sei. Mit Einspracheentscheiden vom 2. September 2005 reduzierte die Ausgleichskasse ihr Schadenersatzforderung auf Fr. 65'035.60. B. Die von J._ und V._ hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 4. Mai 2006 ab. B. Die von J._ und V._ hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 4. Mai 2006 ab. C. Mit Verwaltungsgerichtsbeschwerde lassen J._ und V._ beantragen, der vorinstanzliche Entscheid sei aufzuheben. Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 