Sachverhalt: A. A.a Der 1962 geborene F._ arbeitete seit Januar 2000 als Personalberater in der von ihm beherrschten X._ AG. Über diese Firma wurde im Juni 2008 der Konkurs eröffnet. Im April 2007 meldete sich F._ bei der Invalidenversicherung zum Rentenbezug an. Er verwies dabei auf Rückenbeschwerden nach zweimaliger Bandscheibenoperation und Infiltrationsbehandlung, Diabetes mellitus und Bluthochdruck. Die IV-Stelle des Kantons Thurgau klärte die medizinischen und erwerblichen Verhältnisse ab und holte ein Gutachten des Dr. med. B._, FMH Psychiatrie und Psychotherapie, vom 28. Januar 2008 ein. Mit Verfügung vom 17. April 2009 verneinte sie einen Leistungsanspruch mangels einer invalidisierenden Gesundheitsschädigung. Die vom Versicherten dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 23. September 2009 in dem Sinne gut, dass es die angefochtene Verfügung aufhob und die Sache an die IV-Stelle zurückwies, damit diese nach zusätzlichen medizinischen Abklärungen im Sinne der Erwägungen über den Rentenanspruch neu entscheide. A.b Die IV-Stelle liess F._ daraufhin durch Frau Dr. med. S._, Innere Medizin FMH, speziell Rheumaerkrankungen und den Psychiater Dr. med. B._ begutachten. Gestützt auf das Gutachten vom 16. Juli 2010 mit interdisziplinärer Zusammenfassung verneinte sie mit Verfügung vom 11. Februar 2011 erneut einen Anspruch auf Invalidenrente. B. Die von F._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 18. Mai 2011 ab. C. F._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der vorinstanzliche Entscheid sei aufzuheben und es sei ihm rückwirkend ab 1. April 2006 eine ganze Invalidenrente zuzusprechen. Überdies sei festzustellen, dass die IV-Stelle hinsichtlich beruflicher Eingliederungsmassnahmen noch nicht verfügt habe. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz oder die IV-Stelle zurückzuweisen. IV-Stelle und kantonales Gericht beantragen die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 