Sachverhalt: Sachverhalt: A. G._ war einziges Mitglied des Verwaltungsrates der 1984 gegründeten Firma X._ mit Sitz in Y._. Am .... 2003 wurde die Gesellschaft infolge Verlegung ihres Sitzes nach W._ unter der Firma U._ im Handelsregister des Kantons Luzern von Amtes wegen gelöscht. Am .... 2003 erfolgte eine erneute Sitzverlegung nach Z._, Kanton Zug, und eine Firmenänderung in Firma A._; gleichzeitig trat G._ aus dem Verwaltungsrat aus. Am .... 2004 wurde über die Firma der Konkurs eröffnet. In diesem Verfahren meldete die Ausgleichskasse Luzern dem Konkursamt Zug ihre Forderungen an, die im wesentlichen aus unbezahlt gebliebenen bundes- und kantonalrechtlichen Sozialversicherungsbeiträgen bestanden. Nachdem das Konkursamt der Ausgleichskasse mit Verlustschein vom 31. August 2004 bekannt gegeben hatte, dass die geltend gemachte Forderung von Fr. 57'203.85 ungedeckt bleibe, machte die Kasse den genannten Betrag gegenüber G._ als Schadenersatzforderung geltend (Verfügung vom 27. Januar 2005). Die hiegegen von G._ erhobene Einsprache hiess die Ausgleichskasse mit Entscheid vom 3. Juni 2005 teilweise gut und reduzierte die Schadenersatzforderung auf Fr. 41'404.05. A. G._ war einziges Mitglied des Verwaltungsrates der 1984 gegründeten Firma X._ mit Sitz in Y._. Am .... 2003 wurde die Gesellschaft infolge Verlegung ihres Sitzes nach W._ unter der Firma U._ im Handelsregister des Kantons Luzern von Amtes wegen gelöscht. Am .... 2003 erfolgte eine erneute Sitzverlegung nach Z._, Kanton Zug, und eine Firmenänderung in Firma A._; gleichzeitig trat G._ aus dem Verwaltungsrat aus. Am .... 2004 wurde über die Firma der Konkurs eröffnet. In diesem Verfahren meldete die Ausgleichskasse Luzern dem Konkursamt Zug ihre Forderungen an, die im wesentlichen aus unbezahlt gebliebenen bundes- und kantonalrechtlichen Sozialversicherungsbeiträgen bestanden. Nachdem das Konkursamt der Ausgleichskasse mit Verlustschein vom 31. August 2004 bekannt gegeben hatte, dass die geltend gemachte Forderung von Fr. 57'203.85 ungedeckt bleibe, machte die Kasse den genannten Betrag gegenüber G._ als Schadenersatzforderung geltend (Verfügung vom 27. Januar 2005). Die hiegegen von G._ erhobene Einsprache hiess die Ausgleichskasse mit Entscheid vom 3. Juni 2005 teilweise gut und reduzierte die Schadenersatzforderung auf Fr. 41'404.05. B. Die dagegen von G._ beim Verwaltungsgericht des Kantons Luzern erhobene Beschwerde wies dieses mit Entscheid vom 27. Juni 2006 ab. B. Die dagegen von G._ beim Verwaltungsgericht des Kantons Luzern erhobene Beschwerde wies dieses mit Entscheid vom 27. Juni 2006 ab. C. G._ lässt Verwaltungsgerichtsbeschwerde erheben und beantragen, der vorinstanzliche Entscheid sei aufzuheben. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet. 