Sachverhalt: A. Der 1965 geborene S._ war bis Juni 1993 bei der X._ AG als Elektromonteur angestellt. Am 24. Oktober 1991 zog er sich bei einer Auffahrkollision eine Distorsion der Halswirbelsäule (HWS) sowie der oberen Brustwirbelsäule (BWS) zu und litt in der Folge unter einer leichten posttraumatischen Hirnfunktionsstörung. Am 19. Oktober 1992 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Durchführung einer Umschulung zum kaufmännischen Angestellten nahm er ab Oktober 1997 eine Tätigkeit als kaufmännischer Sachbearbeiter beim Unternehmen Y._ in der Stadt Zürich auf. Die IV-Stelle Schwyz sprach ihm mit Verfügung vom 1. November 2001 bei einem Invaliditätsgrad von 40 % eine Viertelsrente zu. Nach Durchführung eines Revisionsverfahrens hob die IV-Stelle die ausgerichtete Viertelsrente mit Verfügung vom 29. Juli 2011 gestützt auf einen Invaliditätsgrad von 32 % auf. B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 20. Oktober 2011 bei einem Invaliditätsgrad von 36.5 % ab. C. Mit Beschwerde lässt S._ die Aufhebung des vorinstanzlichen Entscheides und weiterhin die Ausrichtung einer Viertelsrente der Invalidenversicherung beantragen. Eventualiter sei die Angelegenheit zu weiteren Abklärungen und zur Neubeurteilung an die Vorinstanz oder an die Beschwerdegegnerin zurückzuweisen. 