Sachverhalt: Sachverhalt: A. Der Schweizer Staatsangehörige S._ (geboren 1958) hat seinen Wohnsitz in X._, übt dort eine selbständige Erwerbstätigkeit aus und ist auf den 1. Januar 1996 der freiwilligen Alters-, Hinterlassenen- und Invalidenversicherung für Auslandschweizer beigetreten. In den Jahren 1999 bis 2005 war er jeweils im Winter bis April/Mai bei der Firma H._ AG in Y._ erwerbstätig und entrichtete dafür obligatorische paritätische Sozialversicherungsbeiträge. Mit vier Verfügungen vom 3. Februar 2005 setzte die Schweizerische Ausgleichskasse die Beiträge für die freiwillige Versicherung rückwirkend für die Jahre 2001 bis 2005 neu auf die Minimalbeiträge von Fr. 778.65 pro Jahr (2001 und 2002) und Fr. 848.70 (2003 bis 2005) fest. Die hiegegen erhobene Einsprache wies die Schweizerische Ausgleichskasse mit Entscheid vom 10. Juni 2005 mit der Begründung ab, sie sei nach Ablauf der Einsprachefrist von 30 Tagen erhoben worden. A. Der Schweizer Staatsangehörige S._ (geboren 1958) hat seinen Wohnsitz in X._, übt dort eine selbständige Erwerbstätigkeit aus und ist auf den 1. Januar 1996 der freiwilligen Alters-, Hinterlassenen- und Invalidenversicherung für Auslandschweizer beigetreten. In den Jahren 1999 bis 2005 war er jeweils im Winter bis April/Mai bei der Firma H._ AG in Y._ erwerbstätig und entrichtete dafür obligatorische paritätische Sozialversicherungsbeiträge. Mit vier Verfügungen vom 3. Februar 2005 setzte die Schweizerische Ausgleichskasse die Beiträge für die freiwillige Versicherung rückwirkend für die Jahre 2001 bis 2005 neu auf die Minimalbeiträge von Fr. 778.65 pro Jahr (2001 und 2002) und Fr. 848.70 (2003 bis 2005) fest. Die hiegegen erhobene Einsprache wies die Schweizerische Ausgleichskasse mit Entscheid vom 10. Juni 2005 mit der Begründung ab, sie sei nach Ablauf der Einsprachefrist von 30 Tagen erhoben worden. B. Die dagegen eingereichte Beschwerde wies die Eidgenössische Rekurskommission der Alters-, Hinterlassenen- und Invalidenversicherung für die im Ausland wohnenden Personen mit Entscheid vom 23. August 2006 ab. Zur Begründung führte sie an, zwar sei die Einsprache rechtzeitig erfolgt, sie sei jedoch unbegründet, da erwerbstätige und nicht erwerbstätige Versicherte mindestens den Minimalbeitrag an die freiwillige Versicherung bezahlen müssten. B. Die dagegen eingereichte Beschwerde wies die Eidgenössische Rekurskommission der Alters-, Hinterlassenen- und Invalidenversicherung für die im Ausland wohnenden Personen mit Entscheid vom 23. August 2006 ab. Zur Begründung führte sie an, zwar sei die Einsprache rechtzeitig erfolgt, sie sei jedoch unbegründet, da erwerbstätige und nicht erwerbstätige Versicherte mindestens den Minimalbeitrag an die freiwillige Versicherung bezahlen müssten. C. S._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei er ab 2000 vom Minimalbeitrag für die freiwillige Versicherung zu befreien. Die Schweizerische Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 