Sachverhalt: A. Der 1957 geborene D._ übte verschiedene Berufstätigkeiten aus, bis er im Jahr 1997 ein Imbisslokal eröffnete. Er führte dieses bis Ende 2004, auf welchen Zeitpunkt er es einem seiner Söhne übertrug. Seither arbeitet D._ noch teilzeitlich im Lokal. Im November 2006 meldete er sich bei der Invalidenversicherung zum Rentenbezug an. Er machte dabei geltend, an Depressionen, Bluthochdruck und Schwindelanfällen zu leiden. Die IV-Stelle des Kantons Solothurn holte nebst weiteren Sachverhaltsabklärungen ein psychiatrisches Gutachten des Dr. med. I._, Facharzt FMH für Psychiatrie und Psychotherapie, vom 17. Oktober 2008 ein. Mit Verfügung vom 20. Oktober 2008 verneinte sie einen Anspruch auf eine Invalidenrente und auf berufliche Massnahmen mit der Begründung, es liege kein invalidisierendes Leiden vor. B. D._ erhob hiegegen Beschwerde auf Zusprechung einer Invalidenrente. Im Beschwerdeverfahren legte er mit Eingabe vom 13. Januar 2010 den Bericht des Dr. med. S._, FMH Psychiatrie und Psychotherapie, und der Frau lic. phil. Y._, Psychologin FSP, vom 22. Dezember 2009 auf. Mit Entscheid vom 6. Oktober 2010 wies das Versicherungsgericht des Kantons Solothurn die Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt D._ beantragen, in Aufhebung des vorinstanzlichen Entscheids und der Verwaltungsverfügung vom 20. Oktober 2008 sei ihm eine Invalidenrente zuzusprechen; eventuell sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 