Sachverhalt: A. X._ wurde vom Bezirksgericht Zürich mit Urteil vom 13. Januar 2010 mehrerer Vermögensdelikte für schuldig befunden und zu einer bedingten Freiheitsstrafe von 17 Monaten und 15 Tagen verurteilt. Der Verurteilte gelangte gegen dieses Urteil mit Berufung an das Obergericht des Kantons Zürich. Dieses räumte dem amtlichen Verteidiger von X._ eine Frist ein, um allfällige Beweisanträge zu stellen und zu begründen, worauf dieser mit Eingabe vom 14. Juni 2010 Beweisanträge stellte. In der Folge schrieb der Vorsitzende der I. Strafkammer des Obergerichts, Vizepräsident Peter Marti, am 29. Juni 2010 dem Verteidiger einen Brief, worin er eine Beurteilung der Sach- und Rechtslage abgab und den Verteidiger ersuchte, mit seinem Klienten ernsthaft einen Rückzug der Berufung wegen schlechter Erfolgsaussichten zu diskutieren. Der Verteidiger antwortete mit Schreiben vom 23. August 2010, dass an der Berufung festgehalten werde. Mit Schreiben vom 24. August 2010 teilte Oberrichter Marti dem Verteidiger mit, dass er die Aufrechterhaltung der Berufung zur Kenntnis nehme und am weiteren Verfahren nicht mitwirken werde. Mit Eingabe vom 26. August 2010 stellte X._ den Antrag, dass der Vorsitzende sowie sämtliche Mitglieder der I. Strafkammer des Obergerichts im Berufungsverfahren wegen des Anscheins der Befangenheit in den Ausstand zu treten haben. Die Mitglieder und Ersatzmitglieder der I. Strafkammer gaben - mit Ausnahme von Oberrichter Marti - gewissenhafte Erklärungen ab, dass sie nicht befangen seien. Mit Beschluss vom 3. November 2010 bewilligte das Gesamtgericht des Obergerichts ohne Mitwirkung der Mitglieder der I. Strafkammer den Ausstand von Oberrichter Marti für das Berufungsverfahren. Das Ablehnungsbegehren gegen die übrigen Mitglieder und Ersatzmitglieder der I. Strafkammer wies es ab. Eine gegen diesen Beschluss gerichtete Beschwerde in Strafsachen wies das Bundesgericht mit Urteil 1B_407/2010 vom 4. Mai 2011 (= BGE 137 I 227) ab, soweit darauf einzutreten war. Am 22. August 2011 gelangte X._ gegen dieses Urteil des Bundesgerichts an den Europäischen Gerichtshof für Menschenrechte (EGMR). B. Am 26. Juli 2011 setzte die I. Strafkammer des Obergerichts die Berufungsverhandlung neu auf den 3. Oktober 2011 fest. X._ verlangte am 30. September 2011 den Ausstand wegen Befangenheit der konkret bekannten Gerichtsbesetzung (Oberrichter Bollinger, Volken und Brenn) sowie des namentlich nicht bekannten Gerichtsschreibers, worauf der Termin für die Berufungsverhandlung aufgehoben wurde. Die genannten Oberrichter und Gerichtsschreiber Brütsch gaben am 8. November 2011 die gewissenhafte Erklärung ab, sich nicht befangen zu fühlen und beantragten die Abweisung des Ausstandsbegehrens. Nach Durchführung eines Schriftenwechsels wies die II. Strafkammer des Obergerichts das Ausstandsbegehren mit Beschluss vom 26. Januar 2012 ab. C. Mit Beschwerde in Strafsachen an das Bundesgericht vom 5. März 2012 beantragt X._, der Beschluss der II. Strafkammer des Obergerichts vom 26. Januar 2012 sei aufzuheben. Weiter verlangt er den Ausstand der Mitglieder der I. Strafkammer des Obergerichts Oberrichter Bollinger, Volken und Brenn wegen des Anscheins der Befangenheit. Er rügt die Verletzung des Anspruchs auf ein unabhängiges und unparteiisches Gericht (Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK) sowie des Anspruchs auf ein faires Verfahren (Art. 29 BV). Die II. Strafkammer des Obergerichts verzichtet auf eine Stellungnahme zur Beschwerde. Die vom Ausstandsbegehren betroffenen Mitglieder der I. Strafkammer haben sich nicht vernehmen lassen. 