Sachverhalt: Sachverhalt: A. P._, früher in H._ wohnhaft, ist aufgrund seiner in X._ ausgeübten selbstständigen Erwerbstätigkeit der Ausgleichskasse des Kantons Zug angeschlossen. Gestützt auf die Steuermeldung vom 26. April 2005 und nach einer telefonischen Nachfrage setzte die Ausgleichskasse des Kantons Zug die Beiträge mit Nachtragsverfügungen vom 11. Mai 2005 für das Jahr 2002 aufgrund eines beitragspflichtigen Einkommens von Fr. 84'700.- und für 2003 aufgrund eines solchen von Fr. 143'100.- fest. Auf Einsprache hin ersuchte sie die Steuerverwaltung Bern um Zustellung schriftlicher Steuermeldungen für die Jahre 2001 und 2002. Nach Eingang der Steuermeldungen vom 22. Juni 2005 verfügte sie am 4. Juli 2005 die Beiträge für das Jahr 2001 gestützt auf ein beitragspflichtiges Einkommen von Fr. 81'300.-. Auch hiegegen erhob P._ Einsprache. Mit Einspracheentscheid vom 11. August 2005 hiess die Ausgleichskasse die Einsprache betreffend die Beiträge für das Jahr 2003 gut und hob die entsprechende Verfügung auf, die Einsprachen in Bezug auf die Beitragsjahre 2001 und 2002 wies sie ab, unter Zugrundelegung eines beitragspflichtigen Einkommens gestützt auf die Steuermeldung vom 22. Juni 2005 von Fr. 174'600.- für das Jahr 2002. A. P._, früher in H._ wohnhaft, ist aufgrund seiner in X._ ausgeübten selbstständigen Erwerbstätigkeit der Ausgleichskasse des Kantons Zug angeschlossen. Gestützt auf die Steuermeldung vom 26. April 2005 und nach einer telefonischen Nachfrage setzte die Ausgleichskasse des Kantons Zug die Beiträge mit Nachtragsverfügungen vom 11. Mai 2005 für das Jahr 2002 aufgrund eines beitragspflichtigen Einkommens von Fr. 84'700.- und für 2003 aufgrund eines solchen von Fr. 143'100.- fest. Auf Einsprache hin ersuchte sie die Steuerverwaltung Bern um Zustellung schriftlicher Steuermeldungen für die Jahre 2001 und 2002. Nach Eingang der Steuermeldungen vom 22. Juni 2005 verfügte sie am 4. Juli 2005 die Beiträge für das Jahr 2001 gestützt auf ein beitragspflichtiges Einkommen von Fr. 81'300.-. Auch hiegegen erhob P._ Einsprache. Mit Einspracheentscheid vom 11. August 2005 hiess die Ausgleichskasse die Einsprache betreffend die Beiträge für das Jahr 2003 gut und hob die entsprechende Verfügung auf, die Einsprachen in Bezug auf die Beitragsjahre 2001 und 2002 wies sie ab, unter Zugrundelegung eines beitragspflichtigen Einkommens gestützt auf die Steuermeldung vom 22. Juni 2005 von Fr. 174'600.- für das Jahr 2002. B. Die hinsichtlich der Beitragsjahre 2001 und 2002 erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 31. Mai 2006 ab. B. Die hinsichtlich der Beitragsjahre 2001 und 2002 erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 31. Mai 2006 ab. C. P._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der vorinstanzliche Entscheid sei hinsichtlich der Beiträge für das Jahr 2001 aufzuheben und die Beiträge für das Jahr 2002 seien "rechtmässig" zu bestimmen. Das kantonale Gericht und die Ausgleichskasse des Kantons Zug schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 