Sachverhalt: A. Der 1959 geborene N._ arbeitete seit 1986 als selbstständiger Garagist. Am 28. Juli 1997 meldete er sich bei der Invalidenversicherung (IV) an. Die IV-Stelle des Kantons Thurgau holte unter anderem Gutachten der Klinik K._ vom 13. April 2000 und des Psychiaters Dr. med. S._ vom 14. August 2000 ein. Mit Verfügung vom 17. Mai 2001 verneinte sie den Rentenanspruch. Dagegen erhob der Versicherte bei der AHV/IV-Rekurskommission des Kantons Thurgau Beschwerde, worauf die IV-Stelle ihre Verfügung lite pendente aufhob. Am 6. September 2001 schrieb die Rekurskommission die Beschwerde als erledigt ab. Die IV-Stelle zog unter anderem ein Gutachten der Medizinischen Abklärungsstelle (MEDAS) vom 2. Juli 2002 bei. Mit Verfügung vom 9. Februar 2005 verneinte sie den Rentenanspruch erneut (Invaliditätsgrad 39 %). Auf Einsprache des Versicherten hin hob sie diese Verfügung auf und ordnete weitere Abklärungen sowie eine anschliessende Neuverfügung an. Sie holte unter anderem ein Gutachten des Spitals A._, vom 14. Oktober 2005 ein. Mit Vorbescheid vom 7. Oktober 2008 stellte sie dem Versicherten die Verneinung des Rentenanspruchs (Invaliditätsgrad 38,86 %) in Aussicht, wogegen dieser Einwände erhob. Danach zog die IV-Stelle unter anderem ein Gutachten des Instituts B._ vom 26. Oktober 2009 bei. Mit Verfügung vom 8. Dezember 2010 wies sie das Rentengesuch wiederum ab. B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 15. Juni 2011 ab. C. Mit Beschwerde beantragt der Versicherte die Aufhebung des kantonalen Entscheides und die Zusprechung einer ganzen IV-Rente, eventuell einer Dreiviertelsrente, sowie subeventuell die Rückweisung der Sache zur erweiterten Sachverhaltsabklärung im Sinne der Erwägungen. IV-Stelle und Vorinstanz verlangen Beschwerdeabweisung. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 