Sachverhalt: A. F._ war seit 1978 in der Bundesverwaltung tätig. Ab 1. August 1991 arbeitete sie als Übersetzerin und war zuletzt bei der Pensionskasse des Bundes für die berufliche Vorsorge (PKB) versichert. Auf den 31. März 2002 wurde das Dienstverhältnis aus medizinischen Gründen aufgelöst. Ab 1. April 2002 richtete die PKB der Versicherten eine Invalidenrente mit festem Zuschlag aus. Am 1. Juni 2003 wurden aktive Versicherte und Rentner von der PKB in die neue Pensionskasse des Bundes PUBLICA überführt. Mit Entscheid vom 28. Februar 2007, bestätigt mit Urteil des Bundesgerichts vom 22. Juni 2007 (9C_174/2007), stellte das Verwaltungsgericht des Kantons Bern fest, dass F._ ab 1. August 2003 Anspruch auf eine bis 31. März 2004 befristete ganze Rente der Invalidenversicherung habe. Gestützt auf diese Gerichtsentscheide hielt die PUBLICA am 11. Juli 2007 fest, ab 1. April 2004 bestehe kein Anspruch auf eine Invalidenrente aus der beruflichen Vorsorge mehr. Die Rentenauszahlung werde per August 2007 eingestellt und die seit 1. April 2004 bezogenen Leistungen seien zurückzuerstatten. B. Nachdem die Versicherte sich geweigert hatte, die Pensionskassenleistungen zurückzuerstatten, reichte die PUBLICA am 22. Februar 2008 beim Verwaltungsgericht des Kantons Bern Klage ein mit dem Antrag, F._ sei zu verpflichten, ihr den Betrag von Fr. 300'391.60, zuzüglich Zins zu 5 % seit 22. Februar 2008, zu bezahlen. Mit Entscheid vom 23. September 2010 wies das Verwaltungsgericht die Klage ab. C. Die PUBLICA führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, unter Aufhebung des vorinstanzlichen Entscheides sei die Versicherte zu verpflichten, ihr einen Betrag von Fr. 221'571.60, zuzüglich Zins in unterschiedlicher Höhe ab verschiedenen Fälligkeiten, zu bezahlen; eventuell sei die Sache zur Feststellung des vollständigen Sachverhalts und zu neuer Beurteilung an das kantonale Gericht zurückzuweisen. Während F._ auf Abweisung der Beschwerde schliessen lässt, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 