Sachverhalt: A. X._ wurde am 16. Januar 2002 verhaftet und am 30. Mai 2002 nach rund viereinhalb Monaten aus der Untersuchungshaft entlassen. Am 5. März 2003 fand die Schlusseinvernahme statt, anlässlich welcher ihm der Sachverhalt sowie die von der Bezirksanwaltschaft als erfüllt erachteten Gesetzesbestimmungen vorgehalten wurden (angefochtenes Urteil S. 5). Es wurde ihm als Folge dieses Verfahrens vom Migrationsamt die Aufenthaltsbewilligung für den Kanton Zürich entzogen, da er noch nicht drei Jahre im gemeinsamen Haushalt mit seiner Ehefrau gelebt hatte. Weil ihm auch der Kanton Aargau, wo seine Lebensgefährtin wohnte, eine Aufenthaltsbewilligung verweigerte, reiste er am 27. März 2003 in die USA aus und liess sich wieder - wie vor der Heirat - in Miami Beach nieder (obergerichtliches Urteil vom 23. Dezember 2004, S. 6). Die Bezirksanwaltschaft des Kantons Zürich warf ihm mit Anklageschrift vom 29. Januar 2004 vor, er habe zwischen Oktober 2000 und Mai 2001 seine Nichte A._ mehrfach, das erste Mal vor ihrem 16. Geburtstag, zur Duldung sexueller Handlungen genötigt und sie einmal vergewaltigt. Weiter wurde ihm Sachbeschädigung zum Nachteil seiner damaligen Ehefrau angelastet. B. Das Bezirksgericht Zürich verfügte mit Präsidialverfügung vom 13. Februar 2004, der Angeklagte habe persönlich (mit oder ohne Verteidiger oder Verteidigerin) zur Hauptverhandlung zu erscheinen. An der Hauptverhandlung des Bezirksgerichts vom 27. April 2004 beantragte seine Verteidigerin B._, ihm das persönliche Erscheinen an der Verhandlung zu erlassen. "Aufgrund der glaubhaften Ausführungen der Verteidigung sowie des Umstands, dass der Angeklagte in der Untersuchung genügend Gelegenheit hatte, zu den gegen ihn erhobenen Vorwürfen Stellung zu nehmen, wurde dem Gesuch im Sinne von § 172 StPO/ZH stattgegeben" (bezirksgerichtliches Urteil S. 3). Das Bezirksgericht bestrafte ihn wegen Vergewaltigung (Art. 190 Abs. 1 StGB), mehrfacher sexueller Nötigung (Art. 189 Abs. 1 StGB), sexueller Handlung mit einem Kind (Art. 187 Ziff. 1 Abs. 1 StGB) und Sachbeschädigung (Art. 144 Abs. 1 StGB) mit dreieinhalb Jahren Zuchthaus (wovon 134 Tage durch Untersuchungshaft erstanden waren) sowie mit sieben Jahren Landesverweisung. Er wurde verpflichtet, der Geschädigten eine Genugtuung von Fr. 18'000.-- zu bezahlen. Die Verteidigerin erhob Berufung beim Obergericht des Kantons Zürich. Dieses bestätigte am 23. Dezember 2004 das bezirksgerichtliche Urteil vollumfänglich. Zum Verfahren hielt es fest: "Im Einverständnis mit den Parteien wurde das Berufungsverfahren schriftlich durchgeführt (Urkunden 57 - 60), nachdem dem Angeklagten schon vor erster Instanz das persönliche Erscheinen erlassen worden war" (Urteil S. 8). Gegen das obergerichtliche Urteil erhob die Verteidigerin Nichtigkeitsbeschwerde beim Kassationsgericht des Kantons Zürich. Dieses wies die Beschwerde mit Sitzungsbeschluss vom 19. Dezember 2005 ab, soweit es darauf eintrat. Das obergerichtliche Urteil und der kassationsgerichtliche Beschluss wurden nicht mit eidgenössischen Rechtsmitteln beim Bundesgericht angefochten. In Vollstreckung des obergerichtlichen Urteils wurde X._ am 5. Dezember 2006 auf Begehren der schweizerischen Behörden in Florida/USA festgenommen und am 3. Februar 2007 an die Schweiz ausgeliefert. Er befindet sich im Strafvollzug. C. Rechtsanwalt C._ meldete mit Schreiben vom 3. Mai 2007 für X._ nachträgliche (erneute) kantonale Nichtigkeitsbeschwerde an. In der Folge reichte der heutige Rechtsvertreter die Beschwerdebegründung ein. X._ beantragte die Aufhebung des obergerichtlichen Urteils vom 23. Dezember 2004 und die Rückweisung der Sache an das Obergericht. Er machte im Wesentlichen geltend, er habe erst nach seiner Auslieferung an die Schweiz von der strafrechtlichen Verurteilung erfahren. Ferner konnte er sich vor Kassationsgericht zu den Stellungnahmen seiner früheren Verteidigerin (Akten des Kassationsgerichts, act. 62, 70 und 86), die er "im Umfang der in diesem Verfahren vor dem Kassationsgericht an [sie] gerichteten Vorwürfe vom Anwaltsgeheimnis entbunden hatte" (act. 61), äussern (act. 80 und 90). Beide Parteien verzichteten auf weitere Stellungnahmen. Das Kassationsgericht des Kantons Zürich entliess zunächst mit Verfügung vom 6. Juli 2007 formell die frühere Verteidigerin als amtliche Verteidigerin (act. 36) und wies mit Verfügung vom 19. Juli 2007 die Gesuche von X._ um aufschiebende Wirkung und Entlassung aus dem ordentlichen Strafvollzug ab (act. 50). In der Folge trat es mit Zirkulationsbeschluss vom 3. April 2008 auf die nachträgliche Nichtigkeitsbeschwerde mit der Begründung nicht ein, wenn X._ heute geltend mache, er habe erst im Zusammenhang mit dem Auslieferungsverfahren von dem gegen ihn ergangenen Strafurteil erfahren, sei dies auf seine eigene Nachlässigkeit zurückzuführen. Es könne nicht gesagt werden, er habe seine Vorbringen ohne eigenes Verschulden nicht früher vortragen können. D. X._ erhebt Beschwerde in Strafsachen und beantragt, den Beschluss des Kassationsgerichts vom 3. April 2008 aufzuheben und die Sache zur Durchführung des Verfahrens an dieses zurückzuweisen, eventuell den Beschluss sowie das Urteil des Obergerichts vom 23. Dezember 2004 aufzuheben und die Sache an das Obergericht zur Neubeurteilung zurückzuweisen. Er beantragt ferner die unentgeltliche Rechtspflege. Das Kassationsgericht verzichtet auf Vernehmlassung. Die Oberstaatsanwaltschaft des Kantons Zürich beantragt unter Verweisung auf den angefochtenen Beschluss die Abweisung der Beschwerde. 