Sachverhalt: A. A._, geboren 1966, war von Juli 1987 bis Oktober 2000 als Bauarbeiter bei der V._ AG tätig. Am 25. Januar 2001 meldete er sich unter Hinweis auf Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die in der Folge von der IV-Stelle Schwyz am 9. November 2001 erlassene Ablehnungsverfügung hob das Verwaltungsgericht des Kantons Schwyz auf Beschwerde hin auf und wies die Sache zu ergänzenden Abklärungen und neuer Verfügung an die Verwaltung zurück (Entscheid vom 17. April 2002). Gestützt auf die Ergebnisse der Aktenergänzung sprach die IV-Stelle A._ mit Verfügung vom 7. Juli 2004 rückwirkend ab 1. Oktober 2001 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente zu. Im Rahmen eines im März 2006 von Amtes wegen eingeleiteten Revisionsverfahrens zog die IV-Stelle Gutachten der Klinik S._ vom 6. Dezember 2006 und des Begutachtungsinstituts Y._ vom 30. Januar 2009 bei. Im Wesentlichen gestützt auf die interdisziplinäre Expertise des Begutachtungsinstituts Y._ setzte die IV-Stelle die bislang ausgerichtete ganze Invalidenrente mit Verfügung vom 30. September 2009 ab 1. November 2009 auf eine Viertelsrente herab, dies bei einem Invaliditätsgrad von nunmehr 42 %. Zur Begründung führte sie aus, sich bei Erlass der ursprünglichen Verfügung vom 6. August 2004 allein auf die medizinischen Unterlagen der Klinik S._ gestützt zu haben; dabei sei lediglich auf die Arbeitsunfähigkeit in der angestammten, nicht aber in einer leidensangepassten Tätigkeit abgestellt worden. Die Verfügung sei, da zweifellos unrichtig, in Wiedererwägung zu ziehen. Aufgrund eines Einkommensvergleichs resultiere ein Invaliditätsgrad von 42 %. Im Weiteren sei auch ein Revisionsgrund gegeben, da sich der Gesundheitszustand verbessert habe. B. In teilweiser Gutheissung der vom Versicherten hiegegen eingereichten Beschwerde setzte das Verwaltungsgericht des Kantons Schwyz den Zeitpunkt der Rentenherabsetzung auf den 1. Dezember 2009 fest. Im Übrigen wies es die Beschwerde ab (Entscheid vom 15. Januar 2010). C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides sei ihm auch ab 1. Dezember 2009 eine ganze Invalidenrente zu gewähren. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 