Sachverhalt: A. S._ ist bei der Bundesverwaltung angestellt. Für seinen 1989 geborenen Sohn, welcher am 19. Juni 2009 die Matura abgeschlossen (Schuljahresende per 31. August 2009) und anschliessend die Rekrutenschule (29. Juni bis 20. November 2009) besucht hatte, bezog er eine Ausbildungszulage bis und mit August 2009. Am 24. Oktober 2009 ersuchte er um Ausbildungszulagen u.a. für seinen Sohn. Dieser absolvierte vom 8. März 2010 bis 31. März 2011 ein Praktikum, um danach die Lehre als Tierpfleger zu beginnen. Die Eidgenössische Ausgleichskasse (nachfolgend: EAK) sprach S._ mit Verfügung vom 12. November 2010 für seinen Sohn ab dem 1. März 2010 eine Ausbildungszulage zu, verneinte jedoch einen Anspruch für die Zeit vom 1. September 2009 bis 28. Februar 2010. Daran hielt sie mit Einspracheentscheid vom 4. Januar 2011 fest. B. Das Verwaltungsgericht des Kantons Bern wies die dagegen erhobene Beschwerde mit Entscheid vom 21. Juli 2011 ab. C. S._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, es sei der vorinstanzliche Entscheid aufzuheben und es seien ihm für seinen Sohn für die Zeit vom 1. September 2009 bis 28. Februar 2010 Ausbildungszulagen auszurichten. Die EAK schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung. D. Mit Eingabe vom 25. April 2012 hält S._ an seinem Begehren fest. 