Sachverhalt: A. K._ (geboren 1948) arbeitet bei der Eidgenössischen Verwaltung X._als Abteilungsleiter und ist bei der Pensionskasse des Bundes (im Folgenden: PUBLICA) für die berufliche Vorsorge versichert. Auf den 1. Juni 2008 wurde er in die Lohnklasse 23 befördert, was eine Erhöhung des Einkommens zur Folge hatte. Am 1. Juli 2008 trat das revidierte Bundesgesetz über die Pensionskasse des Bundes vom 20. Dezember 2006 (PUBLICA-Gesetz) in Kraft, mit welchem ein Wechsel vom Leistungs- zum Beitragsprimat verbunden war. Im Juli 2008 eröffnete die PUBLICA K._, er habe Anspruch auf eine statische Besitzstandsgarantie, weil er zum Zeitpunkt des Primatwechsels das 55., aber noch nicht das 65. Altersjahr vollendet hatte. Massgebend für die Berechnung der garantierten Altersrente sei sein letzter versicherter Verdienst vor dem 1. Juli 2008. In seinem Fall betrage die garantierte jährliche Altersrente Fr. 54'403.35, entsprechend 95 % der nach bisherigem Recht im Alter von 62 Jahren erreichbaren Altersrente. B. Am 5. Februar 2009 liess K._ beim Verwaltungsgericht des Kantons Bern Klage einreichen mit dem Antrag, es sei festzustellen, dass die Besitzstandsgarantie nach dem PUBLICA-Gesetz Fr. 57'092.55 beträgt. Mit Entscheid vom 4. September 2009 wies das Verwaltungsgericht die Klage ab. C. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt K._ das vorinstanzlich gestellte Rechtsbegehren erneuern, dies unter dem Vorbehalt eines zusätzlichen Anspruchs aus dem Ergänzungsplan. Die PUBLICA schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet. 