Faits: Faits: A. B._, comptable de formation, est inscrit depuis le 12 octobre 1988 en qualité de directeur de X._ SA, société spécialisée dans l'exécution de tous mandats fiduciaires. En tant que tel, il assume, depuis 1985, la direction de l'entreprise, l'instruction des employés, la comptabilité des mandants, les contacts avec ces derniers ainsi que l'acquisition des nouveaux clients. Confrontée à d'importantes difficultés de trésorerie, X._ SA a réduit l'horaire de travail de son directeur de 100 à 20 % à partir du 1er janvier 2002. Ce dernier s'est alors inscrit auprès de l'Office cantonal de l'emploi en tant que demandeur d'emploi à 80 % et salarié de la société précitée à 20 %. Le 29 janvier 2002, il a déposé une demande d'indemnité de chômage et un délai-cadre d'indemnisation a été ouvert en sa faveur à compter du 1er janvier 2002 jusqu'au 31 décembre 2003. A la suite d'un contrôle du seco, la Caisse cantonale genevoise de chômage (ci-après : la caisse) a nié à B._ le droit aux prestations, par décision du 4 novembre 2003 confirmée sur opposition le 18 mai 2004. En bref, elle a considéré qu'en poursuivant son activité de directeur auprès de X._ SA et à défaut d'avoir requis la radiation de son inscription en tant que tel au registre du commerce, il n'avait pas rompu tout lien avec la société précitée, mais continué d'exercer à son service, une position dominante assimilable à celle d'un employeur. Par décision subséquente du 10 décembre 2003, la caisse a réclamé à B._, la restitution de 83'456 fr. 10 au titre d'indemnités indûment perçues depuis le 1er janvier 2002 jusqu'au 31 juillet 2003 et suspendu la procédure jusqu'à droit connu sur le bien-fondé du droit aux prestations sujettes à recouvrement. Par décision subséquente du 10 décembre 2003, la caisse a réclamé à B._, la restitution de 83'456 fr. 10 au titre d'indemnités indûment perçues depuis le 1er janvier 2002 jusqu'au 31 juillet 2003 et suspendu la procédure jusqu'à droit connu sur le bien-fondé du droit aux prestations sujettes à recouvrement. B. Par jugement du 11 janvier 2005, le Tribunal cantonal des assurances sociales de la République et canton de Genève a rejeté le recours formé par B._ contre la décision sur opposition du 18 mai 2004. B. Par jugement du 11 janvier 2005, le Tribunal cantonal des assurances sociales de la République et canton de Genève a rejeté le recours formé par B._ contre la décision sur opposition du 18 mai 2004. C. B._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant, sous suite de dépens, au bien-fondé de son droit aux prestations. Se prévalant de sa bonne foi, il requiert, à titre subsidiaire, la remise de l'obligation de les restituer. La caisse conclut au rejet du recours, tandis que le Secrétariat d'Etat à l'économie a renoncé à se déterminer. 