Sachverhalt: A. X._ wurde am 5. Mai 1999 von der 2. Abteilung des Bezirksgerichtes Zürich wegen Widerhandlung gegen das Betäubungsmittelgesetz und weiterer Delikte zu 22 Monaten Gefängnis, abzüglich 34 Tage erstandener Untersuchungshaft, verurteilt, wobei der Vollzug der Freiheitsstrafe zugunsten der gleichzeitig angeordneten ambulanten Massnahme im Sinne von Art. 44 Ziff. 1 und 6 StGB aufgeschoben wurde. Weiter wurde der Widerruf des bedingten Strafvollzuges der von derselben Abteilung des Bezirksgerichtes Zürich am 2. April 1997 ausgesprochenen Freiheitsstrafe von 18 Monaten Gefängnis sowie deren Aufschub zugunsten der genannten ambulanten Massnahme beschlossen. Mit Verfügung vom 26. Mai 1999 regelte das Amt für Justizvollzug (vormals Amt für Straf- und Massnahmenvollzug, im Folgenden AJV) den Vollzug der ambulanten Massnahme. Weiter schob das AJV mit Verfügungen vom 3. Januar 2000 und 10. Mai 2000 den Vollzug zahlreicher Bussenverhaftsbefehle auf (über insgesamt 171 Tage Haft), alle aus den Jahren 1998 und 1999. B. Am 4. April 2001 beschloss das Bezirksgericht Zürich, 2. Abteilung, auf Ersuchen des AJV, welches den Vollzug der ambulanten Behandlung eingestellt hatte, es werde erneut eine ambulante Massnahme im Sinne von Art. 44 Ziff. 1 und 6 StGB angeordnet und der Vollzug der bisher aufgeschobenen Freiheitsstrafe weiterhin zugunsten der Behandlung aufgeschoben. Erneut ordnete das AJV den Vollzug der ambulanten Massnahme an und schob in der Folge den Vollzug vier weiterer Bussenverhaftsbefehle (diesmal) des Statthalteramtes des Bezirkes Horgen über insgesamt 31 Tage Haft aus den Jahren 1998, 2000 bis 2002 sowie der mit Strafbefehl der Bezirksanwaltschaft Horgen vom 5. Dezember 2001 ausgefällten Strafe von 21 Tage Gefängnis zugunsten der Massnahme auf (Verfügungen vom 3. Januar und 10. Mai 2000 sowie vom 25. Juli 2002). Nicht mehr aufgeschoben zugunsten der Massnahme wurde hingegen der Vollzug der mit Strafbefehl der Bezirksanwaltschaft Zürich vom 3. Mai 2000 zunächst bedingt ausgesprochen, am 5. Dezember 2001 gestützt auf Art. 41 Ziff. 3 Abs. 1 StGB jedoch als vollziehbar erklärten Freiheitsstrafe von 30 Tagen Gefängnis. C. C.a Mit Verfügung vom 25. Juli 2002 stellte das AJV den Vollzug der ambulanten Behandlung ein und beantragte bei der 2. Abteilung des Bezirksgerichts Zürich, es sei die Vollstreckung sämtlicher zugunsten der Massnahme aufgeschobenen Freiheitsstrafen anzuordnen. Das angerufene Gericht beschloss am 17. Dezember 2002, die aufgeschobenen Strafen seien ungekürzt zu vollziehen, eine Weiterführung bzw. erneute Anordnung einer ambulanten Behandlung sei nicht zweckmässig. C.b Gegen diesen Entscheid reichte X._ Rekurs ein, mit welchem er unter anderem die Weiterführung der ambulanten Massnahme unter Aufschub des Strafvollzuges und die Einholung eines weiteren psychiatrischen Gutachtens beantragte. D. Am 21. Juni 2004 wies das Obergericht des Kantons Zürich, III. Strafkammer, den Rekurs von X._ ab. E. X._ legte gegen diesen Beschluss sowohl kantonale wie auch eidgenössische Nichtigkeitsbeschwerde ein. Mit der eidgenössischen Nichtigkeitsbeschwerde beantragt er, der angefochtene Entscheid sei aufzuheben. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege. F. Mit Zirkulationsbeschluss vom 24. Dezember 2004 wies das Kassationsgericht des Kantons Zürich die Nichtigkeitsbeschwerde von X._ ab. 