Sachverhalt: A. Der 1955 geborene G._ ist Geschäftsführer seiner eigenen Firma und betreut als selbstständiger Handelsvertreter Kunden in der ganzen Schweiz. Am 16. Juli 2004 meldete er sich wegen Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Nach getätigten medizinischen und beruflichen Abklärungen und der Einholung eines zusätzlichen Untersuchungsberichts beim Regionalen ärztlichen Dienst (RAD) vom 25. Mai 2005 verneinte die IV-Stelle Schwyz mit Verfügung vom 20. Juni 2005 einen Leistungsanspruch des Versicherten mangels invalidisierendem Gesundheitsschaden. Daran hielt sie mit Einspracheentscheid vom 23. Oktober 2007 fest. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 19. Februar 2008 ab. C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides sei ihm ab 1. Juni 2003 eine halbe unbefristete Invalidenrente zuzusprechen; es sei ein gerichtliches Gutachten über die Arbeitsfähigkeit zu erstellen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 