Sachverhalt: A. N._, geboren 1957, meldete sich am 24. Februar 2000 unter Hinweis auf unfallbedingte Beschwerden an der Halswirbelsäule (HWS) bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Thurgau holte die Akten der Schweizerischen Unfallversicherungsanstalt (SUVA) ein, welche Leistungen für den am 9. Februar 1999 erlittenen Verkehrsunfall (seitliche Kollision) mit HWS-Distorsion erbrachte. In der Folge liess sie den Versicherten interdisziplinär durch Dr. med. B._, FMH Physikalische Medizin und Rehabilitation, spez. Rheumaerkrankungen, und Dr. med. M._, FMH Psychiatrie und Psychotherapie, untersuchen (Gutachten vom 27. August bzw. 17. September 2001). Nach Erlass eines Vorbescheides vom 20. Dezember 2001, mit welchem die IV-Stelle N._ eine Viertelsrente in Aussicht stellte, veranlasste sie weitere Abklärungen durch Dr. med. B._ (Gutachten vom 1. April 2004) und Dr. med. V._, FMH Psychiatrie und Psychotherapie (Gutachten vom 27. Mai 2004). Mit Verfügungen vom 30. Juni und vom 15. Juli 2005 sprach die IV-Stelle N._ mit Wirkung ab 1. Februar 2000 bei einem Invaliditätsgrad von 48% eine Viertelsrente (nebst Zusatzrente für die Ehefrau und vier bzw. drei Kinderrenten) zu. Auf Einsprache hin, mit welcher - namentlich aus psychischen Gründen - eine erheblich höhere als die von der IV-Stelle angenommene Arbeitsunfähigkeit (von 35%) geltend gemacht wurde, ordnete die IV-Stelle eine weitere Begutachtung durch Dr. med. M._ an (Einspracheentscheid vom 12. Dezember 2005). Gestützt auf dessen Gutachten vom 6. Oktober 2006 stellte die IV-Stelle dem Versicherten erneut eine Viertelsrente in Aussicht (Vorbescheid vom 12. Februar 2007). Der Rechtsvertreter des Versicherten machte in der Folge geltend, dass dieser am 2. Dezember 2006 einen weiteren Unfall erlitten habe, und rügte, dass er zu Unrecht wiederum durch Dr. med. M._ begutachtet worden sei. Die IV-Stelle holte daraufhin ein Gutachten des Instituts X._ vom 19. Februar 2008 ein und stellte dem Versicherten gestützt darauf mit Vorbescheid vom 23. Oktober 2008 in Aussicht, dass kein Rentenanspruch mehr bestehe und die Rente aufgehoben werde. Der Versicherte hatte sich zwischenzeitlich, am 26. Juni 2008, in psychiatrische Behandlung begeben und wurde vom 10. Dezember 2008 bis zum 13. März 2009 in der Psychiatrischen Klinik Y._ hospitalisiert (Berichte der Psychiatrischen Dienste Z._ vom 27. März 2009). Des Weiteren liess er sich neuropsychologisch durch Frau Dr. med. W._, Neurologie FMH, untersuchen (Bericht vom 28. September 2009). Die IV-Stelle beauftragte deshalb erneut das Institut X._ mit einer Abklärung (Gutachten vom 23. November 2009). Am 29. März 2010 verfügte sie, dass die Rente aufzuheben sei. B. Nach Ankündigung einer in Betracht fallenden Schlechterstellung (reformatio in peius) wies das Verwaltungsgericht des Kantons Thurgau die dagegen erhobene Beschwerde mit Entscheid vom 13. Oktober 2010 ab. Die angefochtene Verfügung vom 29. März 2010 wurde insoweit aufgehoben, als N._ damit für den Zeitraum vom 1. Dezember 2008 bis zum 30. April 2010 eine Viertelsrente zugesprochen worden war, und es wurde festgestellt, dass seit dem 1. Februar 2000 kein Anspruch auf eine Invalidenrente bestanden habe. C. N._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag auf Zusprechung mindestens einer halben Invalidenrente, eventualiter sei die Sache zu weiteren medizinischen Abklärungen zurückzuweisen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 