Sachverhalt: A. Der 1947 geborene R._ bezog gemäss Einspracheentscheid der IV-Stelle des Kantons Solothurn vom 12. August 2004 seit 1. November 2003 eine halbe Invalidenrente bei einem Invaliditätsgrad von 52 %. Mit Verfügung vom 3. August 2007 hob die IV-Stelle die halbe Invalidenrente auf Ende September 2007 auf, weil sich der Gesundheitszustand gebessert habe und der Versicherte wieder ein rentenausschliessendes Einkommen erzielen könnte. Die von R._ hiegegen eingereichte Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 27. Mai 2008 teilweise gut und wies die Sache an die IV-Stelle zurück, damit diese im Sinne der Erwägungen weitere Abklärungen zum psychischen Gesundheitszustand des Versicherten treffe und hernach erneut über eine allfällige Revision der Verfügung vom 12. August 2004 befinde oder diese in Wiedererwägung ziehe. Mit Verfügung vom 20. April 2009 hob die IV-Stelle gestützt auf weitere medizinische Abklärungen die frühere Verfügung vom 18. Oktober 2004 und den Einspracheentscheid vom 12. August 2004 wiedererwägungsweise auf und stellte fest, dass ab 1. Oktober 2007 kein Anspruch auf eine Invalidenrente mehr bestehe. B. Die hiegegen eingereichte Beschwerde, mit welcher R._ die Zusprechung einer halben Invalidenrente über den 30. September 2007 hinaus beantragen liess, wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 23. Juli 2010 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt R._ das vorinstanzlich gestellte Rechtsbegehren erneuern; eventuell sei die Sache zu ergänzender Abklärung und Verfügung an die IV-Stelle zurückzuweisen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung. 