Sachverhalt: A. X._ beschäftigte zwischen dem 15. August 2008 und dem 15. Juni 2009 die malaysische Staatsangehörige Y._ als Putzfrau in seiner Wohnung in der Stadt Zürich, nachdem er ihre Visitenkarte durch eine Drittperson erhalten hatte. Y._ reinigte in dieser Zeitspanne die Wohnung in der Regel alle zwei Wochen, insgesamt mindestens 16 Mal. X._ verzichtete darauf, von ihr die Bewilligung zur selbständigen oder unselbständigen Erwerbstätigkeit oder einen anderen Ausweis zu verlangen bzw. sich bei den zuständigen Behörden darüber zu erkundigen. B. Das Bezirksgericht Zürich verurteilte X._ wegen Widerhandlung gegen das Ausländergesetz (stundenweise Beschäftigung von Y._ als Putzfrau ohne Arbeitsbewilligung) zu einer Geldstrafe von 60 Tagessätzen zu Fr. 230.--, bedingt aufgeschoben bei einer Probezeit von zwei Jahren, und zu einer Busse von Fr. 1'000.--. Die von X._ dagegen erhobene Berufung wies das Obergericht des Kantons Zürich am 2. Februar 2012 ab. C. X._ erhebt Beschwerde in Strafsachen. Er beantragt, das Urteil des Obergerichts sei aufzuheben. Er sei vom Vorwurf der vorsätzlichen Widerhandlung gegen das Ausländergesetz freizusprechen. Ausserdem sei ihm Schadenersatz für die Anwaltskosten und eine angemessene Entschädigung für die entstandenen Umtriebe zu entrichten. D. Das Obergericht und die Staatsanwaltschaft des Kantons Zürich verzichten auf eine Vernehmlassung. 