Faits: A. A._ et son épouse B._ sont assurés auprès d'Auxilia Assurance-maladie SA (Auxilia) pour l'assurance obligatoire des soins ainsi que pour plusieurs assurances complémentaires régies par la LCA. Le 22 avril 2011, A._ a demandé à Auxilia de lui rembourser la somme de 2'304 fr. 50 augmentée de 322 fr. 55 d'intérêts, représentant des primes payées à tort de février à juin 2008, en raison du report de l'entrée en vigueur d'une police d'assurance au 1er juillet 2008. Le 7 juin 2011, la caisse-maladie a écarté cette demande car les primes de l'assuré correspondant aux mois de février à mai 2008 avaient fait l'objet de trois décomptes séparés adressés à B._, que la prénommée avait personnellement réglé les primes de son époux relatives aux mois de janvier à mai 2008, de sorte que c'est à elle-même (et non à son époux) que le montant devait être remboursé et qu'il l'avait ainsi été. En ce qui concerne la prime du mois de juin 2008, la caisse a relevé que l'assuré s'en était acquitté personnellement, mais que ce versement avait permis de régler la prime de mars 2009 demeurée impayée. B. Le 1er juillet 2011, A._ a saisi la Chambre des assurances sociales de la Cour de justice de la République et canton de Genève d'une demande de remboursement des primes afférentes aux mois de février à juin 2008 payées à tort, soit cinq mois à 460 fr. 90 avec intérêts. Il a aussi conclu, notamment, à ce que le tribunal constate que les primes dues ont été payées jusqu'à fin juin 2011. Par jugement du 29 novembre 2011, la juridiction cantonale a rejeté la demande tendant à la restitution des primes de février à juin 2008. Par ailleurs, elle n'est pas entrée en matière sur la demande visant à constater que les primes étaient payées jusqu'en juin 2011. C. Dans un premier mémoire de recours déposé le 6 janvier 2012, B._ et A._ demandent principalement l'annulation de ce jugement, en concluant notamment à ce que Auxilia SA soit condamnée à rembourser à A._ le montant des primes versées à l'assurance obligatoire des soins du 1er février au 30 juin 2008, soit cinq mois à 396 fr. 60 avec intérêts. La cause a été attribuée à la IIe Cour de droit social du Tribunal fédéral (9C_14/2012). Dans un second mémoire de recours déposé le même jour contre le même jugement, les recourants concluent principalement à ce que Auxilia SA soit condamnée à rembourser à A._ le montant des primes versées pour une assurance-maladie complémentaire privée du 1er février au 30 juin 2008, soit cinq mois à 64 fr. 30 avec intérêts. Le dossier a été transmis à la Ie Cour de droit civil du Tribunal fédéral comme objet de sa compétence (cause 4A_434/2012). L'intimée et l'Office fédéral de la santé publique n'ont pas été invités à se déterminer. 