Sachverhalt: A. Der 1958 geborene B._ meldete sich erstmals im November 1996 bei der Invalidenversicherung zum Leistungsbezug an. Nachdem die IV-Stelle Luzern einen Leistungsanspruch verneint hatte (Verfügung vom 22. Oktober 1998), sprach sie ihm auf Neuanmeldung hin ab 1. Oktober 1999 eine ganze Invalidenrente nebst Zusatzrenten für seine Kinder zu (Verfügung vom 4. Oktober 2000). Mit Mitteilung vom 22. November 2006 bestätigte die IV-Stelle dem Versicherten einen unveränderten Invaliditätsgrad und Rentenanspruch. Im März 2009 leitete die Verwaltung erneut ein Revisionsverfahren ein, in dessen Verlauf sie insbesondere eine Observation und eine psychiatrische Begutachtung des Versicherten veranlasste. Nach Durchführung des Vorbescheidverfahrens hob sie mit Verfügung vom 30. September 2010 die bisherige Rente rückwirkend ab 1. Oktober 1999 auf. Gleichzeitig kündigte sie für die Zeit ab 1. Juli 2005 die Rückforderung von zu Unrecht ausgerichteten Rentenleistungen mittels separater Verfügung an. B. Dagegen liess B._ Beschwerde erheben und u.a. folgende Anträge stellen: "1. Die Verfügung der Beschwerdegegnerin vom 30. September 2010 sei aufzuheben. 2. Die Beschwerdegegnerin sei anzuweisen, dem Beschwerdeführer weiterhin eine ganze IV-Rente auszurichten. 3. Eventualiter: Von einer Rückerstattungspflicht des Beschwerdeführers von zu Unrecht ausgerichteten Rentenleistungen sei abzusehen." Das Verwaltungsgericht des Kantons Luzern wies das Rechtsmittel mit Entscheid vom 17. Oktober 2011 ab, soweit es darauf eintrat. Sodann wies es ein Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit der Beschwerde ab. C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, der Entscheid vom 17. Oktober 2011 sei aufzuheben und von der rückwirkenden Aufhebung der Invalidenrente sei abzusehen. Die IV-Stelle und das kantonale Gericht schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme. 