Sachverhalt: A. B._, geboren 1950, war bis Ende Oktober 2008 als Angehöriger des Grenzwachtkorps bei der Eidgenössischen Zollverwaltung tätig. Am 1. November 2008 trat er einen dreijährigen Vorruhestandsurlaub an. Vereinbarungsgemäss sollte nach Ablauf dieses Urlaubs, das heisst auf den 1. November 2011, das Arbeitsverhältnis aufgelöst werden und ein vorzeitiger Altersrücktritt erfolgen. Während des dreijährigen Vorruhestandsurlaubs erhielt B._ den vollen Lohn, wobei die Sozialversicherungsbeiträge in Abzug gebracht und monatlich der Ausgleichskasse als Lohnbeiträge überwiesen wurden. Mit Verfügung vom 4. Februar 2011 teilte die Eidgenössische Ausgleichskasse (EAK) B._ mit, es komme ihm während des Vorruhestandsurlaubes das Beitragsstatut eines Nichterwerbstätigen zu. Sämtliche AHV/IV/EO-Abzüge auf den Lohnzahlungen würden auf seinem individuellen Konto in das Jahr gebucht, in dem er in den Vorruhestandsurlaub getreten sei. Am 9. Februar 2011 setzte die EAK verfügungsweise die persönlichen Beiträge für das Jahr 2009 auf Fr. 350.- fest. B._ erhob gegen die Verfügungen vom 4. und 9. Februar 2011 Einsprache und beantragte deren Aufhebung sowie die Rückerstattung der bereits bezahlten Beiträge (nebst Zins) für die Zeit des Vorruhestandes (1. November 2008 bis 31. Oktober 2011). Die EAK wies die Einsprache mit Entscheid vom 1. Juni 2011 ab. B. Hiegegen liess B._ Beschwerde erheben und unter Aufhebung des Einspracheentscheides vom 1. Juni 2011 sowie der angefochtenen Verfügungen beantragen, die EAK sei anzuweisen, ihm die bereits bezahlten AHV-Beiträge als Nichterwerbstätiger (samt Zins) für die Jahre 2009, 2010 und 2011 zurückzuerstatten und ihm die für das Einspracheverfahren beantragte Parteientschädigung von Fr. 1'350.- auszurichten. Das Kantonsgericht Basel-Landschaft hiess die Beschwerde mit Entscheid vom 2. März 2012 in dem Sinne teilweise gut, als es den Einspracheentscheid aufhob und die EAK anwies, B._ die entrichteten persönlichen Beiträge als Nichterwerbstätiger für das Jahr 2009 inklusive gesetzlichen Vergütungszinses zurückzuerstatten. Hinsichtlich der Beiträge für die Jahre 2010 und 2011 trat es auf die Beschwerde nicht ein. Das Begehren um Zusprache einer Parteientschädigung für das Einspracheverfahren wies es ab. C. Das Bundesamt für Sozialversicherungen (BSV) erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den kantonalen Entscheid und beantragt dessen Aufhebung. Die EAK schliesst auf Gutheissung der Beschwerde, B._ auf deren Abweisung. Zudem beantragt er die Zusprechung einer Parteientschädigung. Die Vorinstanz verzichtet auf eine Vernehmlassung. 