Sachverhalt: A. A.a Mit Verfügung vom 24. Juni 2005 sprach die IV-Stelle Bern dem 1951 geborenen K._ eine Viertelsrente der Invalidenversicherung samt Zusatzrente für die Ehefrau und zwei Kinderrenten ab 1. Mai 2001, was sie mit Einspracheentscheid vom 7. August 2006 bestätigte. Auf Beschwerde hin hob das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, diesen Verwaltungsakt mit Entscheid vom 2. Mai 2007 auf und wies die Sache zu weiteren Abklärungen an die IV-Stelle zurück. Vom 2. bis 5. Februar 2009 wurde K._ im Medizinischen Abklärungszentrum Y._ untersucht. Nach durchgeführtem Vorbescheidverfahren wies die IV-Stelle Bern mit Verfügung vom 17. März 2010 das Leistungsbegehren ab, was das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 21. September 2010 bestätigte. Dagegen hat K._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht. A.b Die IV-Stelle Bern hatte bis Ende März 2007 dem Regionalen Sozialdienst X._, welcher K._ und dessen Familie unterstützt hatte, und danach bis Oktober 2009 dem Versicherten direkt Rentenleistungen entsprechend der Verfügung vom 24. Juni 2005 ausgerichtet. Mit Verfügung vom 10. November 2009 forderte sie von der Sozialhilfebehörde den Betrag von Fr. 15'610.- zurück. B. Das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, hiess die Beschwerde des Regionalen Sozialdienstes X._ teilweise gut und änderte die Verfügung vom 10. November 2009 dahingehend ab, dass es die Rückforderung auf Fr. 15'154.- festsetzte (Entscheid vom 21. September 2010). C. Der Regionale Sozialdienst X._ hat Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben mit dem Rechtsbegehren, der Entscheid vom 21. September 2010 sei aufzuheben. Die IV-Stelle beantragt die Abweisung der Beschwerde. K._, das kantonale Gericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet. 