Sachverhalt: A. Der 1962 geborene S._ war vom 1. Juni 2007 bis 31. Mai 2008 als Rechtsanwalt in einer Anwaltskanzlei angestellt. Daraufhin machte er sich mit einer eigenen Praxis selbständig. Am 23. November 2009 meldete er sich beim Regionalen Arbeitsvermittlungszentrum (RAV) zur Arbeitsvermittlung an und stellte Antrag auf Arbeitslosenentschädigung. Das Amt für Wirtschaft und Arbeit (AWA) des Kantons Zürich stellte ihn in der Folge mit Verfügung vom 15. Februar 2010 wegen ungenügender persönlicher Arbeitsbemühungen ab 23. November 2009 für sieben Tage in der Anspruchsberechtigung ein. Daran hielt dieses auf Einsprache hin fest (Einspracheentscheid vom 26. März 2010). B. Das Sozialversicherungsgericht des Kantons Zürich hiess die dagegen erhobene Beschwerde mit Entscheid vom 11. November 2011 gut und hob den Einspracheentscheid des AWA vom 26. März 2010 und die Verfügung vom 15. Februar 2010 auf. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt das AWA, es seien der Gerichtsentscheid vom 11. November 2011 aufzuheben und der Einspracheentscheid vom 26. März 2010 zu bestätigen. S._, das Staatssekretariat für Wirtschaft (seco) und das kantonale Gericht verzichten auf eine Vernehmlassung. 