Sachverhalt: A. Bei der Schweizerischen Unfallversicherungsanstalt (SUVA), Abteilung Militärversicherung, wurde am 20. August 2008 durch die Revisionsstelle der Ausgleichskassen eine Arbeitgeberkontrolle für die Periode vom 1. Januar 2004 bis 31. Dezember 2007 durchgeführt. Dabei stellte sich heraus, dass bei den direkt an die Versicherten ausbezahlten Taggeldleistungen die Nettovergütungen abgerechnet worden waren. Die Eidgenössische Ausgleichskasse (EAK) verfügte am 4. Juni 2009, die ab 1. Januar 2008 direkt an die Versicherten ausbezahlten Militärversicherungstaggelder seien "netto für brutto aufzurechnen". Es seien die paritätischen AHV/IV/EO/ALV-Beiträge zu erheben und abzurechnen. Auf eine rückwirkende Korrektur ab 1. Januar 2006 werde verzichtet. Einspracheweise machte die SUVA geltend, hierfür fehle es an einer gesetzlichen Grundlage. In einer weiteren Eingabe vom 4. September 2009 gab die SUVA ein Rechtsgutachten zu den Akten. Mit Entscheid vom 31. März 2010 wies die EAK die Einsprache ab. B. Die von der SUVA, Abteilung Militärversicherung, hiegegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid vom 28. Februar 2012 gut und hob den Einspracheentscheid auf. Dabei bezeichnete es das Bundesamt für Gesundheit (BAG), handelnd durch die SUVA, Abteilung Militärversicherung, und die Eidgenössische Ausgleichskasse als Parteien. C. Das Bundesamt für Sozialversicherungen (BSV) führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag auf Aufhebung des kantonalen Entscheides. Während die SUVA, Abteilung Militärversicherung, auf Abweisung der Beschwerde schliesst, beantragt die EAK deren Gutheissung. 