Sachverhalt: A. Die Staatsanwaltschaft Zürich-Limmat bzw. nunmehr die Staatsanwaltschaft II des Kantons Zürich führt gegen X._ ein Strafverfahren wegen Urkundenfälschung und Betrug. Sie wirft ihr vor, mit gefälschten Unterlagen (insbesondere Lohnabrechnungen) einen Barkredit bei der Y._ Bank erwirkt zu haben. Am 8. November 2011 ersuchte X._ um Bestellung eines amtlichen Verteidigers. Mit Verfügung vom 15. November 2011 wies die Oberstaatsanwaltschaft des Kantons Zürich das Gesuch ab. Eine dagegen von X._ erhobene Beschwerde wurde vom Obergericht des Kantons Zürich mit Beschluss vom 27. Februar 2012 abgewiesen. B. Mit Beschwerde in Strafsachen vom 30. März 2012 beantragt X._, der Beschluss des Obergerichts sei aufzuheben und es sei Rechtsanwalt Kenad Melunovic als ihr amtlicher Verteidiger einzusetzen. Die Staatsanwaltschaft, die Oberstaatsanwaltschaft und das Obergericht haben auf eine Vernehmlassung verzichtet. 