Sachverhalt: A. Das Obergericht des Kantons Zürich verurteilte X._ am 11. Dezember 2007 wegen versuchter schwerer Körperverletzung, Gefährdung des Lebens, Vergehens gegen das Waffengesetz, mehrfacher einfacher Körperverletzung sowie mehrfacher Übertretung des Betäubungsmittelgesetzes zu einer Gesamtfreiheitsstrafe von 4 Jahren und 1 Monat, abzüglich 325 Tage erstandener Untersuchungshaft bzw. vorzeitigem Strafvollzug, und zu einer Busse von Fr. 200.--. Der Vollzug der Freiheitsstrafe wurde nicht aufgeschoben. Das Obergericht ordnete eine ambulante Massnahme (zur Behandlung der Sucht und der psychischen Störung) während des Strafvollzugs an. X._ trat die Strafe am 11. Dezember 2007 an. Das Strafende fiel auf den 9. März 2011. Am 20. Dezember 2010 verfügte das Amt für Justizvollzug des Kantons Zürich (JUV) die bedingte Entlassung von X._ aus dem Strafvollzug per 5. Januar 2011. Er sollte in das Therapiezentrum Lehn in Kriens zum Zweck der Suchtbehandlung übertreten. Das JUV erteilte ihm entsprechende Weisungen. Nach nur wenigen Tagen schloss das Therapiezentrum Lehn X._ wegen Drogenkonsums aus. Er wurde zur Verhaftung ausgeschrieben. Am 21. Januar 2011 ordnete das Zwangsmassnahmengericht des Bezirks Zürich die Sicherheitshaft an. Am 27. Januar 2011 beantragte das JUV gestützt auf Art. 65 Abs. 1 StGB die nachträgliche Anordnung einer kombinierten stationären Massnahme (Behandlung einer psychischen Störung und Suchtbehandlung). Mit Urteil vom 15. März 2011 ordnete das Bezirksgericht Zürich nach Anhörung des Betroffenen eine stationäre Suchtbehandlung im Sinne von Art. 60 StGB unter Aufschub des Vollzugs der Reststrafe an. Dagegen erhob X._ Beschwerde. Das Obergericht des Kantons Zürich beschloss am 2. September 2011, über X._ ein Ergänzungsgutachten einzuholen, und verlängerte die Sicherheitshaft bis einstweilen 18. Januar 2012. Nach Eingang des psychiatrischen Gutachtens vom 25. Oktober 2011, welches den Parteien zur Stellungnahme unterbreitet wurde, wies das Obergericht des Kantons Zürich mit Beschluss vom 17. Januar 2012 die Beschwerde von X._ ab und bestätigte die nachträgliche Anordnung einer stationären Suchtbehandlung im Sinne von Art. 60 StGB. Gleichzeitig wurde X._ mittels Verfügung der vorzeitige Massnahmeantritt bewilligt und die Sicherheitshaft bis zum Antritt der stationären Massnahme bzw. bis einstweilen maximal 18. April 2012 verlängert. B. Mit Beschwerde in Strafsachen beantragt X._, der Beschluss und die Verfügung des Obergerichts des Kantons Zürich vom 17. Januar 2012 seien aufzuheben und die Sache im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Er sei sofort aus der Sicherheitshaft zu entlassen. Die Kosten des Verfahrens seien dem Kanton Zürich aufzuerlegen, welcher zu verpflichten sei, ihm eine angemessene Entschädigung zu bezahlen. X._ ersucht um unentgeltliche Rechtspflege und Verbeiständung. C. Das Obergericht des Kantons Zürich und die Oberstaatsanwaltschaft des Kantons Zürich verzichteten am 5. April bzw. 13. April 2012 auf eine Vernehmlassung. Das JUV hat sich nicht vernehmen lassen. 