Sachverhalt: A. Mit Verfügung vom 2. Dezember 2009 forderte die Ausgleichskasse des Kantons Solothurn von der Einwohnergemeinde der Stadt X._ Fr. 4'191.05 für 19 im Jahre 2007 zu Unrecht über die Erwerbsersatzordnung (EO) abgerechnete Schutzdiensttage von L._ zurück. Mit Einspracheentscheid vom 17. März 2010 bestätigte die Ausgleichskasse die Rückerstattungspflicht sowie die Höhe der zu bezahlenden Summe. B. In Gutheissung der Beschwerde der Einwohnergemeinde der Stadt X._ hob das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 27. Oktober 2010 Verfügung und Einspracheentscheid auf. C. Das Bundesamt für Sozialversicherungen führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid des solothurnischen Versicherungsgerichts vom 27. Oktober 2010 sei aufzuheben. Die Ausgleichskasse des Kantons Solothurn beantragt die Gutheissung der Beschwerde. Das kantonale Gericht und die Stadt X._ schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. 