Faits: A. A.a X._ a été inculpé les 9 avril et 11 mai 2005 des chefs d'escroquerie, abus de confiance, gestion déloyale et faux dans les titres. Dans le même contexte, Y._ a été inculpé du chef de gestion déloyale. Il leur est reproché de s'être mutuellement aidés à chercher et trouver des personnes suffisamment fortunées et naïves pour les convaincre de leur confier l'essentiel de leurs économies et de se les approprier. A.b Une première audience de la Cour correctionnelle a été fixée le 18 septembre 2007. Les deux accusés y ont fait défaut en justifiant leur absence par des certificats médicaux. Selon un téléfax du 17 septembre 2007, X._ avait été hospitalisé suite à un accident survenu trois jours auparavant. La Présidente de la Cour a accepté le renvoi de l'audience. A.c Une nouvelle audience a été appointée au 27 mai 2008. A l'ouverture des débats, les précédents conseils des accusés ont demandé le renvoi de l'audience vu l'absence de leurs clients respectifs, en informant les juges qu'ils ne représenteraient pas leurs mandants si l'audience n'était pas renvoyée. L'avocat de X._ a précisé que son offre se limitait à demander le renvoi des débats. Il a remis à la Cour un avis d'arrêt de travail d'un jour, daté du 27 mai 2008, émis à Nice par l'Hôpital St-Roch. Cet avis ne comporte pas de renseignements médicaux sur l'état de santé de X._, autres que son attestation d'incapacité de travail de vingt-quatre heures. La Cour a refusé le renvoi de la cause en considérant que l'avis précité n'attestait pas valablement d'un empêchement de comparaître pour des raisons de santé, en l'absence de toute indication de type médical, un arrêt de travail de cette durée n'étant pas significatif pour constituer un motif d'absence légitime. La Cour a également estimé qu'il était difficilement concevable que l'intéressé, qui avait déjà provoqué un premier renvoi des débats, pour cause d'accident, ne se soit pas déplacé à Genève, depuis le Sud de la France, au minimum la veille ou l'avant-veille de l'audience. B. Par arrêt du 29 mai 2008, la Cour correctionnelle avec jury du canton de Genève a notamment condamné X._, défaillant, pour abus de confiance aggravés et instigations à abus de confiance aggravés, à six ans de réclusion. C. Par arrêt du 24 novembre 2008, la Chambre pénale a rejeté l'opposition à la condamnation par défaut formée par X._ contre la décision du 29 mai 2008. Par arrêt du 6 mars 2009, la Cour de cassation genevoise, confirmant la décision précitée, a rejeté le pourvoi de X._. D. Ce dernier dépose un recours en matière pénale au Tribunal fédéral. Il conclut à l'annulation de l'arrêt du 6 mars 2009 et à ce qu'il soit constaté qu'il a fait défaut à l'audience du 27 mai 2008 sans sa faute. Il requiert également l'assistance judiciaire. 