Sachverhalt: A. A.a. W._, geboren 1959, war Bezüger einer Ergänzungsleistung (EL) zur Invalidenrente. Nach einem vorübergehenden Wegfall des Anspruchs ab 1999 meldete er sich am 17. Dezember 2002 beim Amt für AHV und IV des Kantons Thurgau erneut zum Bezug von Leistungen an. Dabei war er vertreten durch den hierzu bevollmächtigten I._. Bei der Beantwortung der im Gesuchsformular gestellten Frage nach "Renten und Pensionen öffentlichen oder privaten Rechts (...) z.B. Renten privater Versicherungen" fügte dieser im entsprechenden Feld einen diagonal verlaufenden Strich ein. Mit Verfügung vom 17. April 2003 und Wirkung ab 1. Januar 2003 sprach das kantonale Amt W._ wiederum eine EL zu. Es bestätigte den Anspruch in darauffolgenden Verfügungen. In den Formularen zur Überprüfung der wirtschaftlichen Verhältnisse (jeweils per 1. Januar) beantwortete W._ die genannte Frage nicht (29. Januar 2007) oder verneinte sie (5. März 2009 [vertreten durch die Mutter] und 26. Januar 2011). A.b. Aus den von der AHV-Zweigstelle dem kantonalen Amt übermittelten Rentenbescheinigungen der Swiss Life (vom 10. Januar 2009 und 9. Januar 2010) sowie einem Schreiben des Versicherers (vom 30. Juni 2011) ging hervor, dass W._ in den Jahren 2008 bis 2010 eine Erwerbsunfähigkeitsrente von jeweils Fr. 1'556.40 ausgerichtet worden war. Am 30. Juni 2011 teilte die Swiss Life der AHV-Zweigstelle neben anderem mit, sie zahle W._ seit dem 11. November 1986 Leistungen aus. Diese betrügen seit 1993 quartalsweise Fr. 320.80 (nach Abzug der Prämie). A.c. Mit Verfügung vom 31. August 2011 forderte das Amt für AHV und IV von W._ für die Zeit vom 1. September 2006 bis 31. August 2011 bezahlte Ergänzungsleistungen im Gesamtbetrag von Fr. 11'750.- zurück. Sie stützte sich auf die Berechnungsblätter für die Ergänzungsleistungen der genannten Periode, in welchen sie neu Rentenleistungen der Swiss Life in Höhe von jährlich Fr. 1'283.- berücksichtigte. A.d. Mit einem (nach unbestrittener Aussage des Beschwerdeführers im kantonalen Beschwerdeverfahren) von der AHV-Zweigstelle aus Anlass einer Vorsprache der Mutter O._ schriftlich ausformulierten und mit "Erlassgesuch" betitelten Schreiben vom 2. September 2011 gelangte O._ an das kantonale Amt für AHV und IV. Sie zeigte sich darin "sehr erschrocken über die Höhe des Betrages". Mit dem Einkommen und der Rente sei es nicht möglich, den offenen Betrag von Fr. 11'750.- abzubezahlen. Die Einnahmen reichten kaum, die Auslagen zu decken. Sie bitte darum, den Erlass oder einen Teilerlass der Rückforderung zu prüfen. Mit Verfügung vom 9. Januar 2012 wies das Amt das Gesuch ab. Es bestätigte dies mit Einspracheentscheid vom 20. April 2012. In der Begründung führte es aus, die Eingabe der O._ vom 2. September 2011 könne nicht als Einsprache gegen die Rückforderungsverfügung vom 31. August 2011 interpretiert werden. B. Die von W._ hiegegen erhobene Beschwerde mit dem Antrag, der Einspracheentscheid sei aufzuheben und es sei auf eine Rückforderung angeblich zu viel bezogener Ergänzungsleistungen zu verzichten, wies das Versicherungsgericht des Kantons Thurgau ab (Entscheid vom 8. August 2012). C. W._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Aufhebung des Entscheides vom 8. August 2012 beantragen. Er erneuert den Antrag auf den Verzicht auf die Rückforderung. Eventualiter sei die Sache zu weiteren Abklärungen bzw. neuem Entscheid an die Vorinstanz zurückzuweisen. Das kantonale Gericht und das kantonale Amt für AHV und IV schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung. 