Faits: A. A.a Le 21 octobre 2003, B._ a présenté une demande d'indemnité de chômage à la Caisse cantonale genevoise de chômage (ci-après: la caisse). Celle-ci a, par décision du 27 novembre 2003, refusé d'y donner suite, au motif que l'intéressé ne justifiait d'aucune période de cotisation dans le délai-cadre d'indemnisation courant du 21 octobre 2001 au 20 octobre 2003. Saisie d'une opposition de B._ qui indiquait avoir travaillé en Espagne du 1er janvier 2002 au 22 mars 2003 avant de revenir en Suisse - et s'être inscrit au contrôle de l'habitant le 14 octobre 2003 -, la caisse a annulé sa décision du 27 novembre 2003 et ouvert un délai-cadre en faveur du requérant à partir du 21 octobre 2003. Elle a considéré qu'il pouvait justifier d'une période de cotisations de 14 mois et 21 jours à l'étranger et avait donc droit à l'indemnité de chômage dès cette date (décision sur opposition du 6 janvier 2004). Quatorze jours plus tard, soit le 20 janvier 2004, la caisse a rendu une nouvelle décision sur opposition par laquelle elle a annulé et remplacé les décisions des 27 novembre 2003 et 6 janvier 2004; elle a derechef dénié le droit de B._ à l'indemnité prétendue, au motif que la période d'assurance accomplie dans un Etat membre de l'Union européenne ne pouvait pas être prise en compte parce qu'il n'avait pas accompli, en dernier lieu, une période d'assurance en Suisse. Sur recours, cette décision a été confirmée, d'abord par le Tribunal cantonal des assurances sociales de la République et canton de Genève (TCAS; le 13 septembre 2004), puis par le Tribunal fédéral (le 8 février 2006; cause C 226/04). A.b Le 23 février 2004, la caisse a réclamé au prénommé le remboursement de 4'387 fr. 85, correspondant aux indemnités perçues indûment du 21 octobre 2003 au 31 décembre 2003. Par lettre du 15 mars 2004, l'assuré a fait opposition à cette décision. Le 13 mars 2006, la caisse a déclaré l'opposition irrecevable. Cette décision a été confirmée, sur recours, le 4 août 2006 par le TCAS, lequel a renvoyé la cause à la caisse pour qu'elle se détermine sur la demande de remise. Par décision du 18 novembre 2008, le Service juridique de l'Office cantonal de l'emploi (OCE) a rejeté la demande de remise considérant que si la condition de bonne foi était réalisée, celle relative à la situation difficile ne l'était pas. Par décision sur opposition du 18 mars 2009, l'OCE a confirmé la décision du 18 novembre 2008. B. Saisi d'un recours de B._ contre la décision sur opposition de l'OCE, le TCAS, chambre 4, l'a rejeté par jugement du 8 octobre 2009. C. Par acte du 2 novembre 2009, complété, le 9 novembre suivant, B._ a interjeté un recours en matière de droit public contre ce jugement. Il a demandé la remise de l'obligation de restituer les prestations indûment perçues. Par ailleurs, il a sollicité le bénéfice de l'assistance judiciaire gratuite. 