Faits: Faits: A. M._ est assuré depuis le 1er janvier 2002 auprès de la Caisse maladie-accident Philos (ci-après: la caisse) pour l'assurance obligatoire des soins en cas de maladie. Le 24 novembre 2003, il a demandé à la caisse l'annulation de son contrat d'assurance, indiquant ne plus vouloir être soumis à l'assurance obligatoire. Le 4 décembre 2003, la caisse a pris acte de la démission de l'assuré pour le 31 décembre 2003, conditionnant toutefois la validité de celle-ci à la remise de l'attestation d'un nouvel assureur confirmant la poursuite, sans interruption, des rapports d'assurance. Le 22 janvier 2004, l'assuré a répondu qu'il n'entendait pas demander son inscription auprès d'un nouvel assureur. Le 19 février 2004, la caisse a refusé la démission de l'assuré et averti celui-ci que les primes étaient dues pour l'année 2004. Après sommation infructueuse, la caisse a fait notifier à l'assuré, le 3 août 2004, le commandement de payer les sommes de 3'031 fr. 50 (primes 2004) et 50 fr. (frais de sommation), ainsi que les frais de poursuite. L'assuré a fait opposition à cet acte, laquelle a été levée par la caisse par décision du 24 août 2004. La caisse a rejeté le 8 septembre 2004 l'opposition formulée par l'assuré contre cette décision. Après sommation infructueuse, la caisse a fait notifier à l'assuré, le 3 août 2004, le commandement de payer les sommes de 3'031 fr. 50 (primes 2004) et 50 fr. (frais de sommation), ainsi que les frais de poursuite. L'assuré a fait opposition à cet acte, laquelle a été levée par la caisse par décision du 24 août 2004. La caisse a rejeté le 8 septembre 2004 l'opposition formulée par l'assuré contre cette décision. B. Saisi d'un recours contre cette décision, le Tribunal cantonal des assurances sociales du canton de Genève l'a rejeté par jugement du 15 novembre 2004. B. Saisi d'un recours contre cette décision, le Tribunal cantonal des assurances sociales du canton de Genève l'a rejeté par jugement du 15 novembre 2004. C. M._ interjette recours de droit administratif contre ce jugement, concluant à son annulation. Il demande à être libéré de l'obligation de s'assurer pour les soins en cas de maladie. La caisse conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se déterminer. 