Sachverhalt: A. Das Obergericht des Kantons Zürich sprach X._ mit Urteil vom 20. Mai 2009 zweitinstanzlich schuldig der mehrfachen qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz. Es verurteilte ihn zu einer Freiheitsstrafe von 6 Jahren unter Anrechnung der ausgestandenen Untersuchungs- und Sicherheitshaft sowie des vorzeitigen Strafvollzugs von 871 Tagen. Vom Vorwurf des Handelns mit 1 Kilogramm Kokain (Anklageziffer 12) sprach das Obergericht X._ frei. B. X._ führt Beschwerde. Er beantragt, es sei festzustellen, dass die Aussagen von Y._ nicht verwertet werden dürfen. Die Sache sei zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Verbeiständung. C. Das Obergericht des Kantons Zürich und die Oberstaatsanwaltschaft des Kantons Zürich haben auf Vernehmlassung verzichtet. 