Sachverhalt: A. Mit Verfügung vom 21. Juli 1995 sprach die IV-Stelle des Kantons Zürich dem 1950 geborenen B._, der als selbständiger Sanitärinstallateur tätig war, aufgrund seiner seit Jahren bestehenden Rückenbeschwerden gestützt auf einen IV-Grad von 54 % ab dem 1. September 1994 eine halbe Rente der Invalidenversicherung zu. Nachdem ein erneuter am 7. Mai 2006 gewährter Umschulungsversuch zum Technischen Kaufmann aus gesundheitlichen Gründen wieder abgebrochen werden musste, stellte die IV-Stelle die zwischenzeitlich gewährten Taggelder und die Leistungen für die Umschulung per 31. Juli 1996 ein und richtete mit Verfügung vom 8. November 1996 ab 1. August 1996 wiederum gestützt auf einen IV-Grad von 54 % eine halbe Invalidenrente aus. Die in dieser Sache erhobene Beschwerde gegen den die Verfügung bestätigenden Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 21. September 1999 wurde mit Urteil des Eidgenössischen Versicherungsgerichts (heute: Bundesgericht) vom 20. März 2001 in dem Sinne gutgeheissen, dass der kantonale Gerichtsentscheid aufgehoben und die Sache an die IV-Stelle zurückgewiesen wurde, damit diese nach Einholung eines interdisziplinären Gutachtens über den Rentenanspruch des Versicherten revisionsweise neu verfüge. In der Folge sprach die IV-Stelle B._ gestützt auf das interdisziplinäre Gutachten der Medizinischen Abklärungsstelle (MEDAS) vom 9. November 2001 weiterhin eine halbe Rente zu bei einem IV-Grad von 55 % (Verfügung vom 14. August 2002). Auf Beschwerde hin hob das Sozialversicherungsgericht des Kantons Zürich diese Verfügung mit Entscheid vom 24. Juli 2003 auf und wies die Sache zu ergänzenden Abklärungen und zur Neuverfügung an die Verwaltung zurück. Daraufhin holte die IV-Stelle zusätzliche Arztberichte sowie ein interdisziplinäres Gutachten bei der MEDAS des Spitals X._ vom 22. Dezember 2005 und eine ergänzende Auskunft der MEDAS-Gutachter vom 27. März 2006 ein. Gestützt darauf sprach sie dem Versicherten mit Verfügung vom 10. Januar 2006 - bestätigt mit Einspracheentscheid vom 31. März 2008 - weiterhin eine halbe Rente basierend auf einem IV-Grad von 58 % zu. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 26. Februar 2010 ab. C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides sei die IV-Stelle zu verpflichten ihm ab 1. August 2006 eine ganze Rente auszurichten, eventuell sei eine erneute unabhängige Begutachtung vorzunehmen unter Einschluss einer neuropsychologischen Untersuchung. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 