Sachverhalt: A. Der 1949 geborene G._ meldete sich im Mai 1996 erstmals bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 27. September 1996 verneinte die IV-Stelle des Kantons Thurgau einen Leistungsanspruch. Auf eine Neuanmeldung des Versicherten trat die IV-Stelle mit Verfügung vom 21. November 1997 nicht ein. Im August 2008 beantragte G._ erneut Invalidenleistungen. Nach Abklärungen und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 13. September 2010 einen Rentenanspruch. B. Die Beschwerde des G._ wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 8. Dezember 2010 ab. C. G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des Entscheids vom 8. Dezember 2010 sei die Sache zu weiteren Abklärungen, insbesondere unabhängiger Begutachtung, an das kantonale Gericht bzw. die Verwaltung zurückzuweisen; eventualiter sei ihm eine halbe Rente der Invalidenversicherung zuzusprechen. Die IV-Stelle und das kantonale Gericht schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 