Sachverhalt: Mit Verfügung vom 16. Oktober 2003 sprach die IV-Stelle Zug dem 1971 geborenen M._ gestützt auf einen Invaliditätsgrad von 61% ab 1. Juni 2002 eine halbe Rente der Invalidenversicherung zu. Im Rahmen eines Revisionsverfahrens auf Grund der 4. IVG-Revision wurde mit Verfügung vom 3. November 2004 der Invaliditätsgrad bestätigt und mitgeteilt, dass bei diesem Invaliditätsgrad seit dem 1. Januar 2004 Anspruch auf eine Dreiviertelsrente bestehe. Nach einer dagegen von der Winterthur Columna erhobenen Einsprache, mit welcher das Valideneinkommen als zu hoch gerügt wurde, zog die IV-Stelle die Verfügungen vom 16. Oktober 2003 und 3. November 2004 in Wiedererwägung und setzte die bisherige Rente auf eine Viertelsrente herab (Verfügung vom 20. Januar 2005). Auf Einsprache von M._ hin bestätigte die Verwaltung mit Entscheid vom 7. November 2005 die Herabsetzung. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 31. Mai 2007 ab. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des vorinstanzlichen Urteils sei festzustellen, dass die Verfügungen vom 16. Oktober 2003 und 3. November 2004 weiterhin rechtsgültig seien, eventualiter sei ihm mindestens eine Dreiviertelsrente zuzusprechen, subeventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. 